kettle工具的作用和使用「建议收藏」

kettle工具的作用和使用「建议收藏」最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。一.了解Kettle工具Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。二.Kettle下载和安装1.官网下载地址:https


Jetbrains全系列IDE稳定放心使用

最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。

一.了解Kettle工具

Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。

二.Kettle下载和安装

1.官网下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/
2.Kettle是纯JAVA编程的开源软件,本地环境配置JDK1.7以上即可运行,解压后直接使用无需安装。
3.准备连接数据库的驱动
数据库驱动,驱动一般放在kettle根目录的bin或者lib下面,然后到服务中启动mysql,重启kettle。

三.Kettle使用

1.运行Spoon.bat,打开spoon图形工具

在这里插入图片描述
在这里插入图片描述

2.创建连接资源库

这里测试,用我本地两个不同的数据库(mysql,oracle)做一个数据的转换

a.新建–转换

在这里插入图片描述

b.添加db数据源

在这里插入图片描述

c.添加一个表输入和表输出

在这里插入图片描述

d.表输入 编辑

在这里插入图片描述

e.表输出 编辑

在这里插入图片描述

f.运行这个转换

在这里插入图片描述

g.查看表数据是否已经成功转换过来

在这里插入图片描述

h.最后将这个文件保存的时候,生成一个ktr文件。

在这里插入图片描述

再我的日常开发中,将这个ktr脚本文件放在主机目录上,通过的命令定时每月一号零点运行,就可以将日表统计的数据,导入到月表中。

后续还有很多值得研究和学习的地方,可以慢慢挖掘,这里只是做个简单的测试。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/181223.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • 走进云时代_怎么跟上时代的脚步

    走进云时代_怎么跟上时代的脚步如何跟上时代的步伐进入云世界

    2022年4月21日
  • 中介效应分析与路径分析的区别_完全中介效应

    中介效应分析与路径分析的区别_完全中介效应这篇文章主要是介绍中介效应分析及路径分析的概念,以及操作步骤,注意事项。好多内容就是拷贝的邱皓政老师的《量化研究与统计分析:SPSS(PASW)数据分析范例解析》第12章节,然后在中间加入了少部分自己看的过程的一些理解吧。1.中介效应分析从上述的阐述可以知道,中介效应分析其实就是有一个变量充当了中介变量,X->Y是通过中介变量Z来传递影响的。如果是完全中介效应就是完全由Z来传递影…

    2022年8月24日
  • python生兔子问题(递归算法)_用python函数写斐波那契数列

    python生兔子问题(递归算法)_用python函数写斐波那契数列兔子产子1.问题描述有一对兔子,从出生后的第3个月起每个月都生一对兔子。小兔子长到第3个月后每个月又生一对兔子,假设所有的兔子都不死,问30个月内每个月的兔子总对数为多少?2.问题分析兔子产子

    2022年7月31日
  • mysql如何获取当前时间_mysql怎么获取当前时间「建议收藏」

    mysql如何获取当前时间_mysql怎么获取当前时间「建议收藏」mysql获取当前时间的方法:可以通过执行【selectnow();】语句来获取当前时间。还可以通过执行【selectcurrent_timestamp,current_timestamp();】语句来获取。获得当前日期+时间(date+time)函数:now()mysql>selectnow();+———————+|now()|+——-…

    2022年10月6日
  • ExecutorService详解[通俗易懂]

    ExecutorService详解[通俗易懂]前言    在我们的日常开发中,难免会使用到线程,部分还会用到多线程并发问题。我们知道,线程的创建和释放,需要占用不小的内存和资源。如果每次需要使用线程时,都new一个Thread的话,难免会造成资源的浪费,而且可以无限制创建,之间相互竞争,会导致过多占用系统资源导致系统瘫痪。不利于扩展,比如如定时执行、定期执行、线程中断,所以很有必要了解下ExecutorService的使用。…

    2022年9月11日
  • 去除字符串中重复字符

    去除字符串中重复字符去除字符串中重复字符:import java.util.LinkedHashSet;public class 去除重复字符串 { public static void main(String[] args) { String str = "aaaabbbccc"; char[] arr = str.toCharArray(); LinkedHashSet<Chara…

    2022年6月13日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号