1. 全栈程序员必看首页

Kettle工具的基本使用[通俗易懂]

全栈程序员-站长 • • 未分类 • 阅读 0

Kettle工具的基本使用[通俗易懂]2.1Kettle简介2.1.1Kettle概述Kettle是国外免费的开源轻量级ETL工具，是基于Java语言开发的，可以在Windows.Linux,UNIX系统上运行，且绿色不需安装，可用于各种数据库之间的连接。Kettle工具主要有四个组件组成，分别是Spoon，Pan，Kitchen以及Carte组件，具体功能如下：*Spoon为集成开发软件，用于构建作业和转换，执行或调试作业和转换，还可以用于监控ETL操作性能。*Pan以命令行形式执行Spoon生成的转…


Jetbrains全系列IDE稳定放心使用

2.1 Kettle简介

  2.1.1 Kettle概述

 Kettle是国外免费的开源轻量级ETL工具，是基于Java语言开发的，可以在Windows.Linux,UNIX系统上运行，且绿色不需安装，可用于各种数据库之间的连接。

Kettle工具主要有四个组件组成，分别是Spoon，Pan，Kitchen以及Carte组件，具体功能如下：      *Spoon为集成开发软件，用于构建作业和转换，执行或调试作业和转换，还可以用于监控ETL操作性能。

  *Pan以命令行形式执行Spoon生成的转换程序。

  *Kitchen以命令行的方式执行Spoon生成的作业程序

  *Carte是一个重要组件，是基于Jetty的轻量级HTTP服务器，主要用于监控HTTP执行作业和转换的进度。

 2.1.2Kettle设计原则：易于开发，避免自定义开发，所有用户都可以通过用户界面完成，无命名限制，透明，灵活的数据通道，只映射需要映射的字段。

2.2 Kettle的下载安装

1、Kettle官网的下载地址为：http://sourceforge.net/projects/pentaho/files/Data%20Integration/，在官网下载安装包。

  2、解压文件，执行spoon.bat。

  3、配置Kettle（在网上搜索即有详细的引导步骤）。

  4、启动Kettle。

2.3 Kettle的基本概念

Kettle工具的执行分为两个层次，即转换和作业，这两个层次的主要区别在于数据传递和执行方式。具体如下图：

Kettle工具的基本使用[通俗易懂]

  2.3.1转换

转换是ETL方法解决中重要部分之一，主要用于数据抽取，转换和加载等等，其本质是一组图形化的数据转换配置逻辑结构。包括读取文件，过滤输出行，数据清洗或将数据加载到数据库中等步骤，转换中的步骤是通过跳连接的。下图为Kettle转换示例：

Kettle工具的基本使用[通俗易懂]

 以上转换示例是实现从数据库中读取数据，并把数据写到文本文件中，该转换包含了步骤，跳，注释以及数据行，具体介绍如下;

 1.步骤：转换中的基本组成部分，也可称之为控件，以图标的方式呈现。

       特性：每个步骤必须要有一个名字且这个名字在转换范围内唯一；

                 每个步骤都可以读，写数据行，生成步骤除外，该步骤只用于写数据；

                 步骤通过输入跳接收数据；

                 大多数步骤都有多个输出跳，一个步骤的数据发送可以设置为轮流发送和复制发送；

                在运行转换时，一个线程运行一个步骤和步骤的多个副本，所有步骤的线程几乎同时运          行，数据行就会连续流过步骤之间的跳。

2.跳：数据的通道，应用于连接两个步骤，实现将元数据从一个步骤传递到另一个步骤，支持分发和复制等方式。

    注：由于每个步骤都是单独的线程，当启动转换时，每个步骤都会创建各自的线程并接收和推送数据（这样并发程序最高），所以数据处理的顺序并不是按照节点连接箭头的顺序执行的。由于转换里的步骤都依赖于前一个步骤获取字段值，因此当创建新跳时，在转换里不能循环进行。

3.注释：以文本描述的方式呈现在作业中，只为增强流程的可读性，可放在任何一个位置。（注释并不参与程序的处理）

4.数据行：数据是以数据行形式沿着步骤流动。一个数据行是从零到多个字段的集合。Kettle中字段的数据类型一共有10种，具体见下图：

Kettle工具的基本使用[通俗易懂]

2.3.2 作业

一个作业包含一个或多个作业项，且都是按照某种顺序进行执行的。下图为一个作业示例：

 Kettle工具的基本使用[通俗易懂]

 该作业中包含了作业项，作业跳以及多路径和回溯，具体介绍如下：

1.作业项：作业的基本构成部分，也可称之为控件。

    注：作业项可以进行复制；作业项可以传递一个结果对象；作业项目是以串行方式执行的。

2.作业跳作业项之间的连接线，定义了作业的执行路径。

3.多路径和回溯：Kettle使用一种回溯算法执行作业里的所有作业项，且作业项的执行结果（真/假）决定执行的路径。

4.作业项结果

2.4 Kettle的基本功能

  2.4.1转换管理

   主要包括输入，输出，转换，应用，流程，脚本，查询，连接，检验，作业，映射，批量加载等功能。转换功能常用控件如下图所示：

Kettle工具的基本使用[通俗易懂]

Kettle工具的基本使用[通俗易懂] 2.4.2 作业管理

主要包括通用，邮件，文件管理，条件，脚本，批量加载等。下图描述Kettle作业常用功能的控件：

Kettle工具的基本使用[通俗易懂]

 Kettle工具的基本使用[通俗易懂]

2.4.3 数据库连接

数据库种类多，因此Kettle工具的数据库连接窗口包含多种数据库类型，具体如下图所示： 

 Kettle工具的基本使用[通俗易懂]

                                              一般标签界面

Kettle工具的基本使用[通俗易懂]

高级标签界面

 Kettle工具的基本使用[通俗易懂]

选项页面

 Kettle工具的基本使用[通俗易懂]

连接池页面

 Kettle工具的基本使用[通俗易懂]

 集群页面

注：本文为学习《数据清洗》——黑马程序员   后的学习笔记。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/181193.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 华为P40怎么解账号锁P40Pro忘记密码ID账号锁解除方案开机设备解锁帐号软件使用方法

    华为P40怎么解账号锁P40Pro忘记密码ID账号锁解除方案开机设备解锁帐号软件使用方法

    华为P40怎么解账号锁P40Pro忘记密码ID账号锁解除方案开机设备解锁帐号软件使用方法​今天带来一台用户华为mate30手机强制清除华为账号锁案例分享，这个台手机是用户公司手机，由于前使用者离职后未能退出手机的华为账号和锁屏密码，导致手机无法使用。自己通过简单的恢复出厂设置后，发现手机有华为账号锁无法激活手机，这才联系到刷机爱好者技术人员，给予远程强制刷机移除华为mate30的账号锁。在此提醒广大用户，登录的华为账号建议绑定经常使用的手机号码，防止无法找回密码从而到时手机无法使用。在刷机解锁过程中需要准备以下工具：准备windwos系统电脑一台，有条件的用户可以找台配置.

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月23日
  • Python 语法错误：“SyntaxError: invalid character in identifier“，原因及解决方法

    Python 语法错误：“SyntaxError: invalid character in identifier“，原因及解决方法

    Python 语法错误：“SyntaxError: invalid character in identifier“，原因及解决方法SyntaxError:invalidcharacterinidentifier错误翻译语法错误：标识符中的无效字符。报错信息指着的位置有问题，报错了。原因一：冒号后面有制表符。原因二：或者第3行开头是制表符。python的缩进是4个空格，不能识别制表符。注：跟中文英文空格一点关系都没有！跟中文英文空格一点关系都没有！

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月23日
  • leetcode 回溯算法_java生成带括号的数学题

    leetcode 回溯算法_java生成带括号的数学题

    leetcode 回溯算法_java生成带括号的数学题原题链接数字 n 代表生成括号的对数，请你设计一个函数，用于能够生成所有可能的并且 有效的 括号组合。示例 1：输入：n = 3输出：[“((()))”,”(()())”,”(())()”,”()(())”,”()()()”]示例 2：输入：n = 1输出：[“()”] 提示：1 <= n <= 8题解回溯class Solution {public: vector<string>res; string t = “”; voi

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月9日
  • QListWidget用法

    QListWidget用法

    QListWidget用法一、参考https://blog.csdn.net/qq_37233607/article/details/78145118QListWidget类重要的函数:1.voidaddItem(constQWidgetItem*);//加入一个项.需要自己先创建一个项的对象.示例如下:QListWidgetItem*ite=newQListWidgetItem;ite->setText(QString::fromLocal8Bit(“杭州”));ui.listWidge

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月6日
  • linux下kegg注释软件,网页工具KOBAS进行KEGG富集分析

    linux下kegg注释软件,网页工具KOBAS进行KEGG富集分析

    KOBAS的介绍KOBAS是北大生物信息中心研发的一个网页工具，用来基因/蛋白功能注释(注释模块)和功能基因集富集(富集模块)。以下是KOBAS的英文介绍：KOBAS3.0isawebserverforgene/proteinfunctionalannotation(Annotatemodule)andfunctionalgenesetenrichment(Enri…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月12日
  • nginx启动命令和停止命令(linux重启nginx)

    nginx启动命令和停止命令(linux重启nginx)

    进入nginx所在目录：打开cmd命令窗口，进入nginx所在目录。在nginx所在目录下执行nginx启动、停止命令。nginx启动命令：【startnginx】或【nginx.exe】nginx停止命令：【nginx.exe-squit】或【nginx.exe-sstop】…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月13日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号