kettle工具的作用和使用「建议收藏」

kettle工具的作用和使用「建议收藏」最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。一.了解Kettle工具Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。二.Kettle下载和安装1.官网下载地址:https

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。

一.了解Kettle工具

Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。

二.Kettle下载和安装

1.官网下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/
2.Kettle是纯JAVA编程的开源软件,本地环境配置JDK1.7以上即可运行,解压后直接使用无需安装。
3.准备连接数据库的驱动
数据库驱动,驱动一般放在kettle根目录的bin或者lib下面,然后到服务中启动mysql,重启kettle。

三.Kettle使用

1.运行Spoon.bat,打开spoon图形工具

在这里插入图片描述
在这里插入图片描述

2.创建连接资源库

这里测试,用我本地两个不同的数据库(mysql,oracle)做一个数据的转换

a.新建–转换

在这里插入图片描述

b.添加db数据源

在这里插入图片描述

c.添加一个表输入和表输出

在这里插入图片描述

d.表输入 编辑

在这里插入图片描述

e.表输出 编辑

在这里插入图片描述

f.运行这个转换

在这里插入图片描述

g.查看表数据是否已经成功转换过来

在这里插入图片描述

h.最后将这个文件保存的时候,生成一个ktr文件。

在这里插入图片描述

再我的日常开发中,将这个ktr脚本文件放在主机目录上,通过的命令定时每月一号零点运行,就可以将日表统计的数据,导入到月表中。

后续还有很多值得研究和学习的地方,可以慢慢挖掘,这里只是做个简单的测试。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/181223.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • WebRTC 系列文章 ICE服务器搭建 coturn[通俗易懂]

    WebRTC 系列文章 ICE服务器搭建 coturn[通俗易懂]WebRTC系列文章ICE服务器搭建服务器环境安装coturn安装coturn依赖软件克隆代码仓库安装coturn修改配置克隆一份配置文件修改配置项启动coturn检测coturn工作状态coturn是一个C++编写的开源ICE服务器,同时兼顾了STUN和TURN的功能。服务器环境CentOS7云服务器一台安装coturn安装coturn依赖软件yumi…

    2022年6月13日
    98
  • webstorm2021激活码【2021最新】

    (webstorm2021激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~IntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,下面是详细链接哦~https://javaforall.net/100143.html…

    2022年3月22日
    97
  • Linux node 安装教程[通俗易懂]

    Linux node 安装教程[通俗易懂]1、下载node2、上传到linux服务器/usr/local目录下3、将tar.xz解压成tar文件xz-dnode-xxxx.tar.xz4、将tar文件解压成文件夹tar-xvfnode-xxxx.tar5、改文件夹的名字,改成nodejsmvnode-xxxnode6、检测是否安装成功7、建立软连接ln-s/usr/local/nodejs/bin/node/usr/local/binln-s/usr/local/nodejs/bin/npm

    2022年9月12日
    0
  • 第十三章《优化》

    第十三章《优化》

    2021年5月29日
    78
  • 贴片电阻识别_贴片电阻型号识别方法

    贴片电阻识别_贴片电阻型号识别方法2019独角兽企业重金招聘Python工程师标准>>>…

    2022年8月21日
    3
  • 大数据开发的工具有哪些?

      作为一个大数据开发人员,每天要与使用大量的大数据工具来完成日常的工作,那么目前主流的大数据开发工具有哪些呢?下面为大家介绍下主流的大数据开发工具。1.HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop是一个能够对大量数据进行分布…

    2022年4月8日
    76

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号