kettle工具的作用和使用「建议收藏」

kettle工具的作用和使用「建议收藏」最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。一.了解Kettle工具Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。二.Kettle下载和安装1.官网下载地址:https

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。

一.了解Kettle工具

Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。

二.Kettle下载和安装

1.官网下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/
2.Kettle是纯JAVA编程的开源软件,本地环境配置JDK1.7以上即可运行,解压后直接使用无需安装。
3.准备连接数据库的驱动
数据库驱动,驱动一般放在kettle根目录的bin或者lib下面,然后到服务中启动mysql,重启kettle。

三.Kettle使用

1.运行Spoon.bat,打开spoon图形工具

在这里插入图片描述
在这里插入图片描述

2.创建连接资源库

这里测试,用我本地两个不同的数据库(mysql,oracle)做一个数据的转换

a.新建–转换

在这里插入图片描述

b.添加db数据源

在这里插入图片描述

c.添加一个表输入和表输出

在这里插入图片描述

d.表输入 编辑

在这里插入图片描述

e.表输出 编辑

在这里插入图片描述

f.运行这个转换

在这里插入图片描述

g.查看表数据是否已经成功转换过来

在这里插入图片描述

h.最后将这个文件保存的时候,生成一个ktr文件。

在这里插入图片描述

再我的日常开发中,将这个ktr脚本文件放在主机目录上,通过的命令定时每月一号零点运行,就可以将日表统计的数据,导入到月表中。

后续还有很多值得研究和学习的地方,可以慢慢挖掘,这里只是做个简单的测试。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/181223.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • python程序的热部署实现[通俗易懂]

    python程序的热部署实现[通俗易懂]pytho程序的热部署知乎上面的回答真正意义上的代码热部署应该是类似erlang那样的,将代码更新到节点后不停服务,不断连接的自动应用新代码。autoreload(代表django的autoreload)什么的还是会造成业务瞬间中断。我感觉是可以从wsgi容器级别上实现,比如更新代码后检测到文件变更,然后通知容器创建新的wsgiapplication的实例,之后所有新的请求都发送到新的wdgi…

    2022年5月11日
    40
  • 学习方法——哈佛大学幸福课(积极心理学)学习笔记(下)[通俗易懂]

    学习方法——哈佛大学幸福课(积极心理学)学习笔记(下)[通俗易懂]最近刚看完哈佛大学的幸福课(又名积极心理学),真的是受益匪浅,通常心理学只研究如何消除抑郁、自卑等消极心理,但是消除了消极心理并不代表就会变得幸福,就像摆脱了痛苦并不代表获得了快乐。积极心理学的核心内容就是去分析积极心理的特点、研究如何培养他们。下面目录中加粗的章节是我认为的讲的最好的章节,从根源去分析悲观、焦虑以及完美主义等是如何产生的,然后分析它们与积极品性的关系,最后告诉我们培养积极品性…

    2022年7月25日
    10
  • Windows中IIS和Serv-U两种方式搭建FTP服务[通俗易懂]

    Windows中IIS和Serv-U两种方式搭建FTP服务[通俗易懂]FTP是文件传输协议。用于互联网双向传输,控制文件下载空间在服务器复制文件从本地计算机或本地上传文件复制到服务器上的空间。iis搭建ftp站点Windows中使用IIS搭建ftp站点需要先在控制面板中启动IIS服务,步骤如下:选择程序点击“启用或关闭Windows功能”按如下启用相关Windows功能:至此,IIS服务已启用,直接搜索iis并打开:展开左侧选项,右击“网站”,…

    2025年8月26日
    9
  • 史上最全安装Maven教程「建议收藏」

    史上最全安装Maven教程「建议收藏」史上最全安装Maven教程简单了解一下什么是Maven1.Maven翻译为“专家“,”内行”的意思,是著名Apache公司下基于Java开发的开源项目。2.Maven项目对象模型(POM)是一个项目管理工具软件,可以通过简短的中央信息描述来管理项目的搭建,报告和文档等步骤。3.Maven是一个项目管理的工具,可以对项目进行构建、依赖的管理。PS:(Gradle的项目搭建方式,将在不久的未来取代Maven,大势所趋。原因如何?小Du下期为您揭晓)一.官网下载下载官网→_→传送门二.配

    2022年6月4日
    31
  • Rectified Linear Unit (ReLU)

    Rectified Linear Unit (ReLU)TheRectifiedLinearUnit(ReLU)computesthefunctionf(x)=max(0,x)f(x)=max(0,x),whichissimplythresholdedatzero.ThereareseveralprosandconstousingtheReLUs:(Pros)Comparedtosigmoid/tan

    2025年7月27日
    2
  • java h2数据库_JAVA 项目中使用 H2 数据库

    java h2数据库_JAVA 项目中使用 H2 数据库JAVA项目中使用H2数据库发布时间:2018-06-0815:43,浏览次数:823,标签:JAVA为什么要使用H2数据库H2数据库是可以嵌入到JAVA项目中的,因为只需要导入一个jar包即可,所以非常的方便。项目中导入H2将H2的jar包放到classpath里即可,我是用的maven,maven的配置如下com.h2databaseh2<version>1.4.1…

    2022年8月31日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号