kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle

news/2025/11/3 23:00:18/文章来源:https://www.cnblogs.com/zjBoy/p/19175259

场景:

昨天发布了xxkg-pdi 金刚调度系统,kettler小伙伴们火速使用了起来,有不少小伙伴催我操作教程,今天下班回家饭都没来的吃,开始搞教程。今天咱们一起学***kg-pdi 调度系统如何使用spoon方式进行调度,这里说的spoon方式调度,也就是说利用kettle自带的pan和kitchen两个工具进行调度,这两个工作底层调用的还是spoon工具。废话少说,开干!!!!!!

不明白如何部署xxkg-pdi的小伙伴,建议学习上一篇文章。

1、将data-integration(具体kettle版本根据自己要求,我这里使用的是9.x)放到xxkg-pdi同级目录

71cc2c4a-cd13-44a3-ae2b-5d1c008393de

 2、启动服务

启动命令 java -jar etl_scheduler_platform-1.0.0.jar

image

 

2、创建作业

1)执行方式选择本地

2)调用方式选择spoon,此种方式会调用应用程序同级目录下面的data-integration

6bc9bf5b-bea3-40a5-a47d-b744c90d2e2b

 3、点击调度一次或者启动按钮触发作业。

88d8cf24-6884-4f36-b460-9c1245799915

 4、作业监控

1)点击作业监控按钮可以看到此作业已经调度成功。

f01de2a9-e0eb-45ad-ac2f-3d8857dddec4

 2)点击日志按钮可以查看具体的执行日志信息。

dab7beca-0169-406d-9f20-a3ff13100fc9

 5、sqlite+kettle 初探

有vip小伙伴咨询sqlite数据库是否可以作为kettle的资源库,沟通之后确定是两个问题a、sqlite作为数据库资源仓库 b、读取sqlite数据库表

15ee5ee5-b667-4357-9f97-fdf4546d6e1a

a、sqlite作为数据库资源仓库

使用kettle cs版本测试不支持sqlite作为数据库资源仓库,xxkg-pdi同样也提示不支持sqlite作为资源库。

1234f9330220ef290fee097c3da53a8c

 b、读取sqlite数据库表,这里演示从sqlite表t1中读取数据

1)创建sqlite数据库连接

连接类型:Generic database

自定义连接url:填写sqlite数据库文件的全路径

自定义驱动:org.sqlite.JDBC

7b18909f-2924-4ea6-a2ed-a3ff55871d18

 

2)使用kettle 创建脚本

db1c0585-df18-4fa6-b7be-670db876cd8d

 3)使用xxkg-pdi调度

将本地脚本上车到xxkg-pdi的文件资源仓库中

f3b23e24-fc2e-4610-a62a-4a5a2f2fcf05

 4)配置作业调度,这里配置调度方式为java

653f8e81-10d8-45a6-a198-d25d1c306d6c

 5)查看作业监控日志,展示调用成功。

cb55f184-eef4-44f4-bc17-e4d67f09e662

 详细日志

9704235c-ba22-43f9-8c4b-1d8f8856dff4

 6)配置作业调度,这里配置调度方式为spoon方式

7531b61a-b7b8-48b8-b14c-f93c5fb332b8

  7)查看作业监控日志,同样也是展示调用成功。

15a71a98-100f-4fe6-aaec-38b0d8dd911e

 详细日志

9de4973e-02e3-4adb-a41e-dd21c86dd225

写在最后 

夜深人静,娃已入睡,今天先写到这里吧,后续咱们一起学习kettle carte集群调度,高可用,高并非,高性能,敬请期待

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/954980.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Django 项目开发整体步骤(0 开始)

Django 项目开发整体步骤-基础版1. 环境准备 - 安装 Python(推荐 3.10+)。 - 创建虚拟环境(venv 或 virtualenv)。# Linux / Mac mkdir django_demo cd django_demopython3 -m venv myenv source myenv/bin/ac…

[GDB] cgdb: GDB 可视化工具

[GDB] cgdb: GDB 可视化工具$(".postTitle2").removeClass("postTitle2").addClass("singleposttitle");Grok生成(2025年11月3日22:52:04)目录GDB 与 CGDB 学习文档前言:为什么要学习…

Maya 2025软件超详细下载安装教程(附安装包和激活步骤)

很多朋友想用上 Maya 2025 这款专业的三维动画设计软件,却在安装环节犯了难。其实 Maya 安装并不复杂,这篇教程就把 Maya 2025 从下载到能用的每一步都说清楚,跟着做,保准你能顺利用上 Maya。目录一、Maya 2025优势…

AI元人文构想:基于价值原语和三值纠缠的权衡

AI元人文构想:基于价值原语和三值纠缠的权衡 笔者:岐金兰 摘要: 本文提出“AI元人文”构想,旨在解决AI在价值决策中的根本缺陷。该框架通过将模糊的人文价值“原语化”为可操作单元,并引入“欲望值、客观值、自感…

一款基于 .NET WinForm 开源、轻量且功能强大的节点编辑器,采用纯 GDI+ 绘制无任何依赖库仅仅100+Kb!

前言 今天大姚给大家分享一款基于 .NET WinForm 开源免费(MIT License)、轻量且功能强大的节点编辑器,采用纯 GDI+ 绘制无任何依赖库仅仅100+Kb:STNodeEditor。 项目介绍 STNodeEditor 是一款基于 .NET WinForm 开…

10-31 题

10-31 题 目录10-31 题G - Minimum PermutationG - P-smooth numberG - Dream TeamP14254 分割(divide) - 洛谷 G - Minimum Permutation 可以用一个栈维护当前选了哪些数,从前往后考虑,首先检查 \(a_i\) 是否不在…

Windows install MiniConda3

1.Download.Open command and runbelow url//In command prompt curl -O https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe2.Install.Open new command window with administrator,and cd t…

109.Redis的geospatial和XXL-JOB 分布式任务调度平台整理

109.Redis的geospatial和XXL-JOB 分布式任务调度平台整理依旧是代驾项目中使用到的功能 特此总结 一个是Redis Geo用于存储和查询地理位置信息(经纬度) 一个是定时任务-分布式 XXL-JOB Redis Geohttps://redis.io/docs…

我的神奇题目

U613849 ggg 题目描述 给一个序列 \(a_i\) , \(q\)个询问L R 求从中有多少个区间 \([l,r]\) 满足 $ gcd(a_l,a_{l+1},a_{l+2},a_{r})=1 $, 输入格式 第一行一个 \(N\),满足N为正整数。 第二行序列\(a\)。 第三行 \(q…

STM32学习之概念——仿真器、调试器、下载器

stm32学习笔记STM32学习笔记 一、核心概念区分:下载 vs. 调试 首先要理解两个核心功能:程序下载:也叫编程或烧录。简单说就是把你在电脑上编译好的二进制程序文件(比如.bin或.hex文件)“灌入”到STM32芯片的内部F…

洛谷 P3273

题意直接看 原题 吧。 注意 \(-1000 \le v \le 1000\)。 这种连边的操作很容易让人想到 DSU,再一看,使用 DSU 对于每个连通块开个 set 维护最大值,整体再开个 set 维护全局最大值,不难搞出 \(O(n \log ^2 n)\) 的做…

docker compose.yaml配置

以下是一个常用的 MySQL Docker Compose 配置示例,包含数据持久化、环境变量配置、自定义配置等核心功能,适用于开发或测试环境。 1. 基础配置文件(docker-compose.yml) 创建一个 docker-compose.yml 文件,内容如…

A39C-T400A22D1a Lora通讯模块的命令配置示例记录

记录了开发中对A39C-T400A22D1a Lora模块直接发送命令进行配置的实例,作为文档的增补前言 开发的过程中,用A39C-T400A22D1aLora模块作无线传输。这个项目之前的人都是用厂商的ASDS上位机软件,直接配置Lora模块,也确…

好久没来了

好久没来了今天 Zotero出问题了!可恶

【入门】使用Node.js开发一个MCP服务器

介绍一个小小后端码农,研究了一下午,终于搞明白怎么开发一个nodeJs的MCP服务器,特写成一篇粗略的博客,供大家参考。MCP 是什么? MCP(Model Control Protocol)是一个标准化接口协议,用于定义AI工具的功能和参数…

Multisim保姆级图文下载安装教程包含下载、安装、汉化、激活

目录一、Multisim 14.3 是什么?为什么好用?二、Multisim 14.3下载三、Multisim 14.3 安装步骤(一步不落)3.1 解压安装包 3.2 进安装目录 3.3 运行安装程序 3.4 同意协议 3.5 别改安装路径 3.6 装主程序 3.7 同意组…

AgenticSeek:完全本地的AI助手,保护隐私的智能代理

AgenticSeek是一个100%本地运行的AI助手,完全替代Manus AI。支持语音交互,能够自主浏览网页、编写代码、规划任务,所有数据仅保存在您的设备上,确保完全的隐私保护和零云端依赖。AgenticSeek:完全本地的AI助手 项…

AI学习机是“智商税”吗?2025年各价位主流品牌选购指南

结论:AI学习机并非简单的“智商税”,但也不是万能神器。其价值高度依赖于产品真实的技术实力和是否契合孩子的学习需求。 🤔 一、AI学习机是智商税吗? 1️⃣ 为什么不是智商税?个性化学习:如同24小时私人教师。…

CSP-S 2025 题解

CSP-S 2025 题解 club 先贪心,每个数都选取 \(\max\)。考虑调整法解决 \(n/2\) 的限制,找到超过 \(n/2\) 的集合,按照次大值减去最大值的大小,从小到大把它们调整成次大值即可。复杂度 \(O(n\log n)\)(需要排序)…

Day30-C:\Users\Lenovo\Desktop\note\code\JavaSE\Basic\src\com\annotation\Proxy

反射package Basic.src.com.reflect;import org.junit.Test;import java.lang.reflect.Method;public class Test4Method {@Testpublic void testGetMethhod() throws Exception {//1.反射第一步:先得到Class对象Clas…