Kettle on MaxCompute使用指南

简介: Kettle是一款开源的ETL工具,纯java实现,可以运行于Windows, Unix, Linux上运行,提供图形化的操作界面,可以通过拖拽控件的方式,方便地定义数据传输的拓扑。Kettle支持丰富的数据输入输出源,数据库支持Oracle,MySql,DB2等,也支持业界各种开源的大数据系统,例如HDFS, HBase, Cassandra, MongoDB等。本文将介绍如何利用MaxCompute的插件无缝对接阿里云的大数据计算平台——MaxCompute。

本示例使用的工具及驱动版本

Kettle

8.2.0.0-342

MaxCompute JDBC驱动

v3.2.8

Setup

  1. 下载并安装Kettle
  2. 下载MaxCompute JDBC driver
  3. 将MaxCompute JDBC driver置于Kettle安装目录下的lib子目录(data-integration/lib)
  4. 启动spoon

Job

我们可以通过Kettle + MaxCompute JDBC driver来实现对MaxCompute中任务的组织和执行。

首先需要执行以下操作:

  1. 新建Job
  2. 新建Database Connection
    JDBC连接串格式为:jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
    JDBC driver class为:com.aliyun.odps.jdbc.OdpsDriver
    Username为阿里云AccessKey Id
    Password为阿里云AccessKey Secret
    JDBC更多配置见:https://help.aliyun.com/document_detail/161246.html

01.png

之后,可以根据业务需要,通过SQL节点访问MaxCompute。下面我们以一个简单的ETL过程为例:

 Create table节点的配置如下:

需要注意:

  1. 这里Connection需要选择我们配置好的
  2. 不要勾选Send SQL as single statement

Load from OSS节点配置如下:

 需要注意的点同Create table节点。有关更多Load的用法,见:https://help.aliyun.com/document_detail/157418.html

Processing节点配置如下:

 需要注意的点同Create table节点。

原文链接
本文为阿里云原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/512728.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

hive mysql 删除表_hive删除表和表中的数据

WebUploader UEditor chrome 点击上传文件选择框会延迟几秒才会显示 反应很慢chrome52.0.2743.80以上, accept: { title: Images, extensions: jpg,jpeg,png, mimeTypes: image/* } ...Android学习笔记之打钩显示输入的密码利用EditText作为密码输入框是个不错的选择(只需设置输…

使用AirFlow调度MaxCompute

简介&#xff1a; airflow是Airbnb开源的一个用python编写的调度工具&#xff0c;基于有向无环图(DAG)&#xff0c;airflow可以定义一组有依赖的任务&#xff0c;按照依赖依次执行&#xff0c;通过python代码定义子任务&#xff0c;并支持各种Operate操作器&#xff0c;灵活性大…

css让背景图片显示透明遮罩_CSS项目测试(支持深色模式)

*事先声明&#xff1a;本文章教程教学、文章封面来源自[CSS]聚光灯项目 by CodingStartup起码课&#xff0c;且已经CodingStartup起码课授权允许转载&#xff01;为了保持原有风格&#xff0c;本文始终保持与CodingStartup起码课的视频风格一致*在出现同样的代码块时&#xff0…

一文读懂阿里云直播技术是如何实现的

简介&#xff1a; 东京奥运会已落下帷幕。比赛期间&#xff0c;全球亿万观众蜂拥至各大转播平台观看奥运赛事&#xff0c;平台直播能力显的尤为重要。阿里云作为视频直播平台的技术提供商&#xff0c;凭借在产品技术、资源带宽、服务保障等方面优势&#xff0c;可为各大转播平台…

低代码发展专访系列之七:低代码的火爆需要不一样的声音么?

编辑 | 曹芊芊话题&#xff1a;低代码发展系列专访前言&#xff1a;2019年开始&#xff0c;低代码爆火。有人认为它是第四代编程语言&#xff0c;有人认为它是开发模式的颠覆&#xff0c;也有人认为是企业管理模式的变革……有很多声音&#xff0c;社区讨论很热烈。CSDN随后展开…

java 自定义 钩子_使用现有钩子的函数不能使用自定义do_action钩子

我知道add_action用于在钩子的位置调用函数 . 我使用了下面的add_action&#xff0c;它给了我需要的输出(这是WooCommerce中产品的价格)&#xff1a;add_action( woocommerce_before_variations_form, woocommerce_single_variation, 10 );我在我构建的自定义插件中使用了上面的…

启动、内存、卡顿三大分析,用户体验就用它?

简介&#xff1a; 启动分析支持通过预置采集和个性化自定义两种方式定义启动阶段&#xff0c;可以分别查询首次启动、冷启动、热启动的情况效果&#xff0c;并可以与设备、系统、版本、地域等维度做交叉筛选查询。 随着大量应用涌入市场加入“App内卷之战”&#xff0c;终端用…

adb echo shell 覆盖_一次写shell脚本的经历记录

点击上方“我的小碗汤”&#xff0c;选择“置顶公众号”精品文章&#xff0c;第一时间送达redis在容器化的过程中&#xff0c;涉及到纵向扩pod实例cpu、内存以及redis实例的maxmemory值&#xff0c;statefulset管理的pod需要重启。所以把redis集群的状态检查放到了健康检查中&a…

当新零售遇上 Serverless

简介&#xff1a; Serverless 的出现给传统企业数字化转型带了更多机遇。 某零售商超行业的龙头企业&#xff0c;其主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店及无人值守智慧商店等零售业态&#xff0c;涉及全渠道零售、仓储物流、餐饮、消费服务、…

如果还不懂如何使用 Consumer 接口,就来看这篇!

作者 | 阿Q来源 | 阿Q说代码背景在开发过程中我遇到这么一个问题&#xff1a;表结构&#xff1a;一张主表A &#xff0c;一张关联表B &#xff0c;表 A 中存储着表 B 记录的状态。场景&#xff1a;第一步创建主表数据&#xff0c;插入A表&#xff1b;第二步调用第三方接口插入B…

java实验册_Java实验报告册Java实验报告册.doc

Java实验报告册Java实验报告册《面向对象程序设计》实验报告与习题册2013 / 2014 学年 第1学期系 别 计算机科学与技术系专 业 班 级 姓 名 指导教师目 录项 目成 绩批改时间实验一 开发环境的搭建及使用实验二 JAVA程序设计基本语法实验三 面向对象程序设计实验四 输入和输出流…

学python就业到底如何_学习python后,就业如何?

Python技术相关人才&#xff0c;正是迎合了目前人工智能时代的发展趋势&#xff0c;Python作为人工智能的首选语言&#xff0c;其发展前景那是大大的好。学习python原因1、python是脚本语言&#xff0c;作为程序员至少应该掌握一本通用脚本语言&#xff0c;因为脚本语言与编译语…

京东:Flink SQL 优化实战

简介&#xff1a; 本文着重从 shuffle、join 方式的选择、对象重用、UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施。 本文作者为京东算法服务部的张颖和段学浩&#xff0c;并由 Apache Hive PMC&#xff0c;阿里巴巴技术专家李锐帮忙校对。主要内容为&#xff1…

Spring Boot参数校验以及分组校验的使用

简介&#xff1a; 做web开发基本上每个接口都要对参数进行校验&#xff0c;如果参数比较少&#xff0c;还比较容易处理&#xff0c;一但参数比较多了的话代码中就会出现大量的if-else语句。虽然这种方式简单直接&#xff0c;但会大大降低开发效率和代码可读性。所以我们可以使用…

fetch() php,PHP:使用fetch()发送数据

我试图使用fetch()发送一些数据,但作为回报,我得到SyntaxError:意外的标记,在JSON中的位置23这就是我要做的fetch(/api.php, {method: POST,body: JSON.stringify({nom : "Issa",prenom: "Oule"}),headers : {"Content-Type" : "applicatio…

python商品总价_【Python基础 | 列表】小实验:实现显示商品,选择商品,将商品加入购物车,得到总价格...

B站学习《Python爬虫技术5天速成》时遇到的小作业&#xff0c;原视频点我题目如下&#xff1a;代码如下&#xff1a;products [["iPhone", 6888], ["MBP", 14800], ["Coffee", 31], ["xiaomi6", 2499], ["Book", 60], [&qu…

长文解析:作为容器底层技术的半壁江山, cgroup如何突破并发创建瓶颈?

简介&#xff1a; io_uring 作为一种新型高性能异步编程框架&#xff0c;代表着 Linux 内核未来的方向&#xff0c;当前仍处于快速发展中。阿里云联合 InfoQ 发起《io_uring 介绍及应用实践》的技术公开课&#xff0c;围绕 OpenAnolis 龙蜥社区 Anolis OS 8 全方位解析高性能存…

Orion:谷歌的新一代SDN控制器

作者 | 魏煌松来源 | 鲜枣课堂时至今日&#xff0c;谷歌在2015年公布的成果&#xff0c;“利用SDN将广域网带宽利用率提升至接近100%”&#xff0c;仍然是SDN的一个标杆案列&#xff0c;也是难以逾越的巅峰。但事实上&#xff0c;当时使用的SDN控制器Onix&#xff0c;早已退出了…

移动云正式发布基于龙蜥 Anolis OS 的 BC-Linux V8.2 通用版操作系统

简介&#xff1a; 2020年12月CentOS项目组宣布CentOS 8将于2021年12月31日结束支持&#xff0c;这意味着从2022年开始&#xff0c;使用CentOS 8的用户&#xff0c;将无法得到来自官方的新硬件支持、bug修复和安全补丁。针对这一情况&#xff0c;移动云大云操作系统团队基于国内…

php _trait,php Trait的使用

1、php中的trait是啥?看上去既像类又像接口&#xff0c;其实都不是&#xff0c;Trait可以看做类的部分实现&#xff0c;可以混入一个或多个现有的PHP类中&#xff0c;其作用有两个&#xff1a;表明类可以做什么&#xff1b;提供模块化实现。Trait是一种代码复用技术&#xff0…