Kettle Spoon入门教程「建议收藏」

Kettle Spoon入门教程「建议收藏」Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。Spoon通过图形化的页面,方便直观的让你完成数据转换的操作。1、安装配置点我下载最新版本是7.1,小编这里使用的是6.1。下载完毕后,解压即可。因为是Java编写的,需要jdk环

大家好,又见面了,我是你们的朋友全栈君。

Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。其中,Spoon是Kettle中的一个组件,其他组件有PAN,CHEF,Encr和KITCHEN等。

Spoon通过图形化的页面,方便直观的让你完成数据转换的操作。

1、安装配置

点我下载

最新版本是7.1,小编这里使用的是6.1。下载完毕后,解压即可。

因为是Java编写的,需要jdk环境。配置完环境后,运行Spoon.bat或spoon.sh,就可以看到Spoon的页面了。

这里写图片描述

Tips:进行操作前,别忘记将数据库驱动包放入Spoon的lib文件夹下。

这是不太方便的地方,Spoon支持的数据库类型特别多,如果把所有的数据库驱动都提前下载好,又有点多余了。

如果忘记这个步骤,在建立数据库连接时,会报错。

这里写图片描述

2、小试牛刀

首先先新建一个作业。
路径:文件–>新建作业。

2.1 新建连接

路径:主对象树-作业-作业1-DB连接。

这里写图片描述

填写相应的数据库信息,即可。
这里写图片描述

点击测试,连接成功。

这里写图片描述

2.2 新建转换——由DB到DB

需求:目前有两个数据库,DB1和DB2。将DB1中的某一个表中的数据,导入到DB2对应的表中。

为了演示方便,此处两个数据源的数据模型完全相同。但在实际操作中,两个数据源的模型会复杂很多。

路径:文件–>新建–>转换。

1)拖动控件
在左侧“核心对象”下的“输入”菜单中,找到“表输入”,并将其拖动到右侧的空白处。同理,将“输出”菜单中,找到“插入/更新”,拖至空白处。
2)编辑控件内容
“表输入”控件:
这里写图片描述

选择或新建数据库连接,对应需求中的DB1,将要查询的sql语句贴上。

“插入/更新”控件:
这里写图片描述

同理,选择或新建数据源,对应需求中的DB2;选择目标表;若有查询条件,添加查询字段。这里按id查询,若此id存在则更新,若不存在即插入。添加更新字段。

3)建立关联
选中“表输入”,按住shift,将关联线关联到“插入/更新”。

4)保存执行
执行前需将文件保存,点击启动按钮执行即可,如下图:

这里写图片描述

2.3 新建转换——由Excel到DB

需求:将Excel中的数据导入到DB中。
步骤与2.2类似,就不再详细描述了,只说下不同的地方。需要的两个控件为“Excel输入”、“表输出”。

Excel中最好以数据库字段名充当列名,示例如下:

这里写图片描述

“Excel输入”控件中需要选择表格类型,并添加Excel文件,如下图所示。
这里写图片描述

获取字段信息
这里写图片描述

保存执行即可。

2.4 作业调度

上面的两个例子简单介绍了“转换”的功能,如果需要定时或重复性的执行这些转换,那就需要作业调度来支持了。

路径:核心对象–>通用。

拖动控件“START”和“转换”。
编辑“START”控件,如下图:
这里写图片描述

编辑“转换”,选择文件,如下图:
这里写图片描述

3、小结

工欲善其事必先利其器,学会使用工具,使工作更加高效。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/142414.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月23日 下午8:20
下一篇 2022年5月23日 下午8:40


相关推荐

  • 🔥科大讯飞星火认知大模型,本地部署也能这么强!你还不知道吗?

    🔥科大讯飞星火认知大模型,本地部署也能这么强!你还不知道吗?

    2026年3月14日
    3
  • 支持向量积【SVM】

    支持向量积【SVM】支持向量积根据数据的情况分为三种 如果数据是线性可分的 则用线性可分支持向量积 如果数据是近似线性可分的 则用线性支持向量积 如果数据是不可分的 则用非线性支持向量积 一 线性可分支持向量积 1 1 线性可分模型的定义线性可分支持向量积的数据是线性可分 如下图所示 存在一个超平面能将数据完全分开 而支持向量积训练的目的就是找到一个超平面能将上述的数据分开 但是能将数据分开的超平面

    2026年3月17日
    2
  • 蓝桥杯猴子分香蕉_蓝桥杯少儿编程大赛试题

    蓝桥杯猴子分香蕉_蓝桥杯少儿编程大赛试题packageexec;importjava.util.Scanner;/**问题描述  秋天到了,n只猴子采摘了一大堆苹果放到山洞里,约定第二天平分。这些猴子很崇拜猴王孙悟空,所以都想给他留一些苹果。第一只猴子悄悄来到山洞,把苹果平均分成n份,把剩下的m个苹果吃了,然后藏起来一份,最后把剩下的苹果重新合在一起。这些猴子依次悄悄来到山洞,都做同样的操作,恰好每次都剩下了m个苹果

    2022年10月11日
    9
  • javascript的一些bug建议收藏

    JavaScript是如今最受欢迎的编程语言之一,但受欢迎同时就是该语言自身的各种特性带来的副作用,无论该语言多美妙,每天还是有成千上万的程序员弄出一堆bug。先不要嘲笑别人,或许你也是其中之一。给你

    2021年12月20日
    52
  • 湖北第二师范学院计算机学院考研率,22考研全面数据解析你报考的地区到底有多难?…

    湖北第二师范学院计算机学院考研率,22考研全面数据解析你报考的地区到底有多难?…原标题:22考研全面数据解析你报考的地区到底有多难?我国的硕士研究生报考人数年年激增,屡创新高,2019年达到290万人,2020年首次突破300万人,达到341万人,按照这样的考研趋势,2021年报考人数突破400万人也是极有可能的。从历年的数据来看,自2015年起,报名人数的增长率都在不断增大,2020年的增长率相对2019年降低了4.21%,但是报名人数实际上都是增加了50多万。考研热度每…

    2022年5月6日
    312
  • 目标检测 | OHEM

    目标检测 | OHEM 这里主要说下该论文的hardmining过程: 先上图,如Figure2所示: 从图中可以看出,本文的亮点在于在每次迭代中,较少训练样本下,如何hardnegativemining,来提升效果。 即针对Fast-RCNN框架,在每次minibatch(1张或者2张)训练时加入在线筛选hardregion的策略,达到新的SoA。需要注意的是,这个OHEM适合于b…

    2022年5月28日
    36

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号