kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟

news/2025/11/17 10:11:21/文章来源:https://www.cnblogs.com/zjBoy/p/19151253

1、启动服务

启动命令 java -jar etl_scheduler_platform-1.0.x.jar

960f6208-aa65-4347-b161-cc6ae846ec28

 2、浏览器访问

http://127.0.0.1:32007 ,输入用户名和密码 admin/admin 登录

23983211-bbd8-4548-bc40-e72bcd091911

 

3、准备centos7服务

准备一台centos服务器,并且服务器提前安装好了jdk1.8,我这里使用docker启动centos7服务器。

c9c7f448-b754-43ba-9dc1-23d47c009a12

 

 

 4、服务器配置

8583ccc4-3069-4e37-adb8-b194a2bb5394

 点击新增按钮,添加服务器

f4a65be5-72da-4106-a022-dce728dd9cbc

 添加成功之后,可以看到服务器列表、状态、启动时间/运行时长等信息。

843cc073-1283-4cc4-807f-fa47bd5af270

 运行监控列【点击查看】可以查看机器的监控信息

08eaeafe-e838-4c12-b22d-8b9332adcaba

5、carte配置

1)将kettle中的整个目录data-integration拷贝到xkg运行目录里面。

6f6c19d6-69f4-43d8-bf30-c1093100930e

 这里可以点击压缩按钮或者自己打tar文件放到xkg目录里面也可以。

打包命令:

进入到xkg所在目录

cd xxx/xkg

tar -cvf data-integration.tar data-integration

b92766d9-77c4-48fe-b57e-a5f40bdbb137

  2)新增carte服务

这一步主要是自动在linux服务器上面部署carte服务

63c5fa4e-e7bd-4d3d-b1b8-c31a6ac8192c

 这一步设置carte的在目标linux机器上的部署路径,这里设置为/opt;启动配置里面hostname 我设置为0.0.0.0,是因为是的centos环境为docker运行。物理机器的话直接写机器的ip即可。

a5d19887-8927-4f8d-b74a-79ed7e59ec75

 

 

 

 

保存并部署:将tar包上传并部署,不会启动服务。

以当前配置启动:tar包上传部署,并启动服务。

保存:不会上传tar,适用于目标机器已经部署过carte的情况。

26395c48-85af-4805-9666-13f5c3bfcd9f

 上一步我们点击的是保存并部署,所以这里需要点击下启动按钮,启动carte服务。

805a12e4-7a78-45c6-8b4b-afeac02005af

启动这里可以重新修改ip、端口、用户名和密码等信息。

a92a4d65-e9b7-4082-b2f3-9adae867e0ac

  6、资源库配置(文件资源仓库)

89c2120f-e0e9-4178-b249-f0f8b7563398

 右键文件夹进行脚本上传、删除、下载等操作。

截屏2025-10-19 19.21.30

 脚本上传之后,可以预览脚本,确保上传脚本正常。

6c7a1d11-6ff1-45bd-bc0e-07e1e1c651a3

 脚本更新有两种方法

1、重新上传进行覆盖

2、在线修改xml文件内容,右键test脚本,选择编辑

8d925f80-088e-429e-85d3-b82d9a6dcd8f

 可以根据自己的需要修改xml文件,或者使用本地的xml整体覆盖,点击保存进行修改。

8d6c896f-4828-451c-9859-0b4c5ac7e33f

7、脚本下发

 脚本下发主要是为了解决,当脚本发生变化之后,可以一键将脚本同步到所有carte服务器上,避免手动拷贝效率低下问题。

6932c57f-da34-47d4-9805-e746233f2f21

点击下发或者重新下发按钮进行下发脚本。

b00ab6e3-52d5-4226-a496-6b89d5fce2e9

 

8、作业调度

资源库:选择文件资源库,然后选择自己设置的资源库,后续文章讲解数据库资源库

任务路径:选择脚本

任务名称:自定义任务名称

任务分组:选择组名,没有的话新建一个分组。

执行方式:选择carte服务,这里的carte服务可以是当体carte,也可以是carte集群(step级别的机器,kettle原生的master slave)。后续文章讲解carte服务组集群模式

执行节点:选择前面配置的cate服务节点

调度方式:可以选择Cron和轮询(如间隔5分钟)两种方式,无论哪种方式,都会处理当前任务没有执行结束,下一个任务都会跳过忽略本次执行。

0984606f-2a39-41b6-894e-699577f50242

 可以点击启动按钮或者点击调度一次来触发任务

e2808443-8677-413d-b9c8-25505c898798

  9、任务监控

在这里可以查看运行的结果(成功或者失败)以及运行日志信息。

b1021ea2-79bd-4429-b86b-abb4ad2cf2ca

 点击日志按钮,查看日志信息

0869c105-3086-4ea4-99cb-31ed41222c45

 10、平台监控

点击运行情况,可以查看整个平台的job运行情况。

bab32d4c-88df-4a49-8686-be9a336843eb

 写在最后

xkg还有一些其他实用的功能,如接口管里,预警配置等,大家可以自行摸索下。

目前xkg已经部署在一些三甲医院和公安行业,生产环境表现优秀,欢迎大家使用完善。

后续会讲解carte服务器集群功能,敬请期待。

 

image

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/967635.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2025 年 11 月不锈钢板厂家推荐排行榜,304不锈钢板,316L不锈钢板,310S不锈钢板,321不锈钢板公司推荐

2025 年 11 月不锈钢板厂家推荐排行榜,304不锈钢板,316L不锈钢板,310S不锈钢板,321不锈钢板公司推荐 不锈钢材料作为现代工业的基础材料,在建筑、化工、医疗、食品等领域的应用日益广泛。随着产业升级和技术进步,…

2025年诚信的高温旋转接头厂家最新用户好评榜

2025年诚信的高温旋转接头厂家最新用户好评榜行业背景与市场趋势高温旋转接头作为工业设备中的关键部件,在钢铁、造纸、化工、航天等领域的应用日益广泛。根据《2024-2025中国旋转接头行业分析报告》显示,全球高温旋…

2025年有实力的碱性铝溶胶厂家最新用户好评榜

2025年有实力的碱性铝溶胶厂家最新用户好评榜行业背景与市场趋势近年来,随着新能源、电子元器件、环保材料等行业的快速发展,碱性铝溶胶作为一种重要的纳米材料,其市场需求呈现出爆发式增长。据中国石油和化学工业联…

2025年比较好的半自动方便面生产线TOP实力厂家推荐榜

2025年比较好的半自动方便面生产线TOP实力厂家推荐榜行业背景与市场趋势方便面作为全球广受欢迎的速食产品,其市场规模持续扩大。据中国食品工业协会最新数据显示,2024年中国方便面市场规模已达1200亿元,预计2025年…

2025年评价高的铝管弯管加工用户口碑最好的厂家榜

2025年评价高的铝管弯管加工用户口碑最好的厂家榜行业背景与市场趋势铝管弯管加工作为金属加工行业的重要分支,近年来随着建筑装饰、汽车制造、航空航天等领域的快速发展,市场需求持续增长。据中国有色金属工业协会最…

TCP 四次挥手:关闭连接

四次挥手的核心目的是确保双方都已完成数据传输,且所有数据都已被接收,避免数据丢失。 第一次挥手(客户端 → 服务器)客户端完成数据发送后,发送连接释放报文,包含FIN 标志位(请求关闭)和序列号(seq=u)。此时…

2025年质量好的家用沙发厂家推荐及选择参考

2025年质量好的家用沙发厂家推荐及选择参考行业背景与市场趋势随着中国居民消费水平的持续提升和家居消费理念的升级,家用沙发市场正迎来新一轮增长。根据中国家用家具协会2024年发布的《中国软体家具行业发展报告》显…

2025年优质的年糕机用户口碑最好的厂家榜

2025年优质的年糕机用户口碑最好的厂家榜 行业背景与市场趋势 近年来,随着亚洲食品在全球范围内的普及,年糕作为传统主食和休闲食品的需求持续增长。根据《2024年全球食品加工设备市场报告》,年糕加工设备市场规模…

【一步步开发AI运动APP】十四、AI运动检测中,如何拍照留存图像?

之前我们为您分享了【一步步开发AI运动小程序】开发系列博文,通过该系列博文,很多开发者开发出了很多精美的AI健身、线上运动赛事、AI学生体测、美体、康复锻炼等应用场景的AI运动小程序;为了帮助开发者继续深耕AI运…

跨境电商ERP系统哪家好?亚马逊卖家专属选型指南

跨境电商ERP系统哪家好?亚马逊卖家专属选型指南 跨境电商ERP系统选型分析报告:聚焦亚马逊卖家需求赛狐ERP凭借深厚服务积淀、强大产研实力及高适配性,成为亚马逊卖家优先选择之一 目录引言:跨境电商ERP系统的核心价…

查询天气

.container { max-width: 500px; margin: 50px auto; padding: 20px; border: 1px solid rgba(221, 221, 221, 1); border-radius: 10px } .input-group { margin-bottom: 20px } input { padding: 8px; width: 200px;…

【A】Bad Apple

AT_arc189_a [ARC189A] Reversi 2 考虑每个连续段都是独立的。先判掉 \(a_1,a_n\) 不合法的情况,和连续段长度是偶数的情况。 对于一个连续段,有 \(f_{i}=\sum_{i=1}^n f_{i-1}\times f_{n-i}\times \binom{n}{i},f_…

2025年优秀的膨胀型防火涂料厂家最新TOP实力排行

2025年优秀的膨胀型防火涂料厂家最新TOP实力排行行业背景与市场趋势随着我国建筑行业安全标准的不断提高和消防法规的日益严格,防火涂料市场迎来了快速发展期。据中国消防协会最新数据显示,2024年我国防火涂料市场规…

2025年AR柱塞式高压水泵优质厂家权威推荐榜单:AR高压柱塞泵/AR高压清洗泵/AR柱塞高压水泵源头厂家精选

工业清洗、矿山开采、石油化工等领域的快速发展,推动AR柱塞式高压水泵市场需求稳步提升,高效节能与长寿命设计成为行业关注焦点 随着工业现代化进程加快,AR柱塞式高压水泵作为高压清洗、流体输送领域的核心设备,其…

基于MATLAB的Q-learning强化学习与回归算法结合的轨迹规划实现

一、系统架构设计 1. 状态空间定义 % 状态向量:[x, y, θ, v] (位置、航向角、速度) state = [2, 3, pi/4, 0.5]; % 初始状态 goal = [8, 8]; % 目标点2. 动作空间设计 % 离散动作集合:速度+转向组合 actions = [0.2…

2025年诚信的液体喷砂机厂家最新权威实力榜

2025年诚信的液体喷砂机厂家最新权威实力榜行业背景与市场趋势液体喷砂机作为工业表面处理领域的关键设备,近年来随着制造业转型升级和环保要求日益严格,市场需求呈现稳定增长态势。根据中国表面工程协会最新发布的《…

2025 最新锡锌丝厂家推荐!锡锌丝 / 无铅焊锡丝 / 焊铝锡丝 / 免洗焊锡丝等优质产品厂家企业品牌权威推荐排行榜

作为工业生产中不可或缺的核心焊接耗材,锡锌丝及无铅焊锡丝、焊铝锡丝等系列产品的品质,直接关系到终端设备的稳定性与使用寿命。当前市场产品质量参差不齐,低纯度原料、不完善检测体系等问题,给全球制造业采购带来…

OpenCVSharp:使用MOG进行运动物体识别

效果动态效果:实现 运动物体检测是计算机视觉中的一个重要应用,广泛应用于安防监控、交通分析、人机交互等领域。本文将详细介绍如何使用OpenCVSharp中的MOG(Mixture of Gaussians)算法实现运动物体检测,并通过一…

2025年优秀的碳钢风管加工厂家推荐及选择指南

2025年优秀的碳钢风管加工厂家推荐及选择指南行业背景与市场趋势随着我国建筑行业的持续发展和工业制造水平的不断提升,碳钢风管作为通风系统的重要组成部分,其市场需求呈现稳定增长态势。据中国通风设备行业协会最新…

2025 年 ROT 厂家最新推荐 :国际权威测评认证的高新技术企业核心实力榜单江苏 RTO/废气 RTO 炉/蓄热式焚烧炉/RTO 废气处理公司推荐

引言 随着工业领域有机废气(VOCs)治理需求的持续升级,高效 RTO(蓄热式焚烧炉)设备成为企业实现绿色生产的关键。为破解市场品牌良莠不齐、选型困难的痛点,国际环保设备协会(IEPEA)联合第三方测评机构开展 2025…