kettle基础教程-kettle9教程「建议收藏」

kettle基础教程-kettle9教程「建议收藏」一.安装部署1.JDK1.8安装及环境变量的配置https://blog.csdn.net/weixin_39549656/article/details/795406442.kettle9安装与启动kettle下载目录:https://sourceforge.net/projects/pentaho/files/kettle9.2下载地址:https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/client-tool

大家好,又见面了,我是你们的朋友全栈君。

kettle是啥?

一款免费开源的、功能强大的ETL工具,纯 java 开发。可以在 Linux、windows、unix 中运行。有图形界面,也有命令脚本还可以二次开发。

一.安装部署

1.JDK1.8安装及环境变量的配置

https://blog.csdn.net/weixin_39549656/article/details/79540644

2.kettle9安装与启动

kettle下载目录:

https://sourceforge.net/projects/pentaho/files/

kettle9.2下载地址:

https://sourceforge.net/projects/pentaho/files/Pentaho-9.2/client-tools/pdi-ce-9.2.0.0-290.zip/download

下载解压之后windows直接执行 Spoon.bat 即可启动(linux执行spoon.sh)。

3.创建资源库(repository)

点击右上connect图标

先选择 Other Repositories ,可以创建文件资源库或者数据库资源库:

Database Repository

Unsupported ETL storage that uses a database

File Repository

Unsupported ETL storage that uses your local file system

很简单根据提示,一步步创建就可以了,本教程只创建 File Repository 文件资源库。

二.简单ETL开发

kettle主要有2种格式开发文件,一个是作业(.kjb)、一个是转换(.ktr)。作业处理任务流,转换处理数据流。

1.转换开发(表对表同步数据)

1.1 创建转换

文件->新建->转换, 或者 CTRL-N。

kettle基础教程-kettle9教程「建议收藏」

1.2 新建表输入 

核心对象->输入->表输入  ,选中后拖到右边面板。

kettle基础教程-kettle9教程「建议收藏」

1.3 配置表输入,选择数据库(首次使用的库 要 新建连接)

kettle基础教程-kettle9教程「建议收藏」

 注:

mysql需要下载jdbc包(oracle自带驱动),放到kettle的lib/目录里,下载可参考以下连接:

https://www.runoob.com/java/java-mysql-connect.html

建议mysql 8以下用 mysql-connector-java-5.1.39-bin.jar

8以上用 mysql-connector-java-8.0.16.jar

1.4 表输入预览数据

点击 表输入 -> 预览 ,可以查看表输入的部分数据。

kettle基础教程-kettle9教程「建议收藏」

1.5 表输出

核心对象->输出->表输出  ,选中后拖到右边面板。

kettle基础教程-kettle9教程「建议收藏」

1.6 新建数据流连接

按住 Shift 键,把表输入和表输出用数据流线连接起来。

kettle基础教程-kettle9教程「建议收藏」

1.7 配置表输出,选择数据库(这里还用之前的库,创建一张结构相同的表)

kettle基础教程-kettle9教程「建议收藏」

1.8 预览或执行转换

kettle基础教程-kettle9教程「建议收藏」

 kettle基础教程-kettle9教程「建议收藏」

 kettle基础教程-kettle9教程「建议收藏」

kettle基础教程-kettle9教程「建议收藏」 kettle基础教程-kettle9教程「建议收藏」

2.作业开发(作业流程设计:先设置变量->执行同步的转换(sql引用变量)-> 结果再设置为变量->弹窗显示数据)

2.1 新建作业

文件->新建->作业, 或者 CTRL-ALt-N。

2.2 增加组件:

通用->start,设置变量、转换、成功。

应用->显示消息对话框

按住 Shift 键,用任务流箭头线连接组件。

kettle基础教程-kettle9教程「建议收藏」

 2.3 设置变量tid=1

kettle基础教程-kettle9教程「建议收藏」

2.4 引用刚才开发的转换test_xxx

kettle基础教程-kettle9教程「建议收藏」

2.5 修改转换test_xxx,sql里引用变量,并将查出来的结果设置为新的变量。

kettle基础教程-kettle9教程「建议收藏」

 kettle基础教程-kettle9教程「建议收藏」

  

2.6 设置消息对话框内容

kettle基础教程-kettle9教程「建议收藏」

2.7 执行作业

kettle基础教程-kettle9教程「建议收藏」

2.8 执行结果

kettle基础教程-kettle9教程「建议收藏」

三 总结:

1.转换(ktr)主要是做数据流,

数据的输入、输出、计算、转换等。

2.作业(kjb)主要是做任务流,

用来设计作业的流程,每个组件和步骤是可以有依赖关系的。可以在作业里串行或并行调用多个转换。

3.这个基础教程就先写这些,有机会再做个高级点的。

因为kettle里的 转换(ktr)、作业(kjb)组件众多,讲是肯定讲不过来的,大家还是自己多测试多研究,用多了就熟练了。

4.有个 Kettle中文网 挺不错的,里边有好多实用的例子,这里推一下:

https://www.kettle.net.cn/category/kettle

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142548.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • MySQL使用问题_mysql的使用

    MySQL使用问题_mysql的使用MySQL常见的性能瓶颈一般都是出现在CPU和I/O上,即在数据装入内存中或磁盘上读取数据时,CPU发生了饱和或装入数据过大,内存容量不足,磁盘I/O性能被限制。这时候就要使用到Explain关键字来进行分析和调优。 基本使用 Explain关键字可以用来模拟优化器执行SQL查询语句,从而了解SQL语句的处理方式,来达到分析查询语句或表结构的性能瓶颈。通过Explain可以获得表…

    2022年10月17日
    3
  • 数据库设计 ER图

    数据库设计 ER图一、ER图简介ER图,简单来说,E是实体,实体有一组属性;R是关系。找打系统中的实体以及实体关系就可以绘制出ER图了。例如,下图是网上找到的ER图,矩形的是实体,椭圆是属性,实体何实体时间的关系用菱形,关系也有熟悉,例如,学生选修课程,有成绩属性,当然如果系统需要,也可以记录选修的时间等属性信息。认真看下,你会发现ER图理解起来还是比较容易的二、ER图绘制常见问题但是真的落实到自己绘制,很多同学就会遇到困难。下面我们通过反例来学习ER图1.反例1区分功能和关系.

    2022年6月21日
    40
  • 2013-2019年百度搜索算法规则解读与应对

    2013-2019年百度搜索算法规则解读与应对2013-2019年百度搜索算法规则解读影响与建议百度冰桶算法百度冰桶算法1.0——》算法自2014年8月30日上线  主要打击移动端网站强行用户下载APP、用户登陆才能继续使用和大面积的广告覆盖行为,影响用户的浏览体验,尤其以必须下载app才能正常使用的站点。百度冰桶算法2.0——-》算法自2014年11月18日上线  主要打击移动端手机广告遮挡屏幕浏览,…

    2022年5月17日
    41
  • python发明人为什么退出_64岁Python创始人突然不退休了,只想做一名微软的打工人,原来是这样的!…

    python发明人为什么退出_64岁Python创始人突然不退休了,只想做一名微软的打工人,原来是这样的!…随着人工智能的飞速发展,Python横扫各大编程语言榜单,成为最受欢迎的、使用最广泛的程序设计语言之一,作为Python的创建者,GuidovanRossum突然于去年10月宣布将要退休,退出Python核心决策层。而就在今天,他在Twitter上正式宣布,退休太无聊,已加入了微软开发者部门,将致力于“确保更好地使用Python(不仅限于Windows)。据了解,他与…

    2025年5月22日
    2
  • ideaIU-2021.4激活码【在线破解激活】

    ideaIU-2021.4激活码【在线破解激活】,https://javaforall.net/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

    2022年3月16日
    114
  • 基于MATLAB的智能交通信号灯控制系统的实现

    基于MATLAB的智能交通信号灯控制系统的实现写在前面1)现实意义早期使用的交通信号灯是固定配时的调控方式,无法随着车流量的变动而调整绿灯时间,这降低绿灯的使用效益,增大了车辆在交叉口的延误。堵车现象频繁发生,给市民工作生活带来了极大不便,国民经济受到影响。这时候提高道路通行效率,特别是交叉路口的车辆通行效率就显得尤为重要。2)关键技术智能交通系统的核心是交通信号灯的智能控制算法,根据实时交通流的大小,配置信号周期及各种色灯的闪亮时间…

    2022年9月24日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号