kettle工具练习

kettle工具练习一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件,“表输出”控件及Hop跳连接线,用于实现CSV文件数据的抽取功能,具体效果如下图所示:2.配置CSV文件输入控件,具体操作如下图所示:获取字段…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

一.抽取CSV文件csv.extract.csv中的数据保存至数据库extract中的数据表csv中。

1.打开kettle工具创建一个转换csv_extract,并添加“CSV文件输入”控件,“表输出”控件及Hop跳连接线,用于实现CSV文件数据的抽取功能,具体效果如下图所示:

kettle工具练习

2.配置CSV文件输入控件,具体操作如下图所示:

kettle工具练习

                                                       获取字段

kettle工具练习

                                                       预览数据

3.配置表输出控件,具体操作如下图示:

kettle工具练习

设置映射匹配

 kettle工具练习

    表输出控件配置效果

4.运行csv_extract

kettle工具练习

从上图可以看出,CSV文件输入控件输入101条数据并写入该控件100条数据(其中有一条数据为表头数据),而表输出控件读取CSV文件输入控件中的100条数据并写入该控件,最终进行输出。也就是说,表输出控件将从CSV文件输入流中读取的100条数据均写入数据表csv中。

5.查看数据表csv中的数据,通过SQLyog工具,查看数据表是否已经成功插入100行数据,结果如下图所示:

kettle工具练习 

 通过上图可看出,数据表csv中已经成功插入数据(这里只展示部分数据),说明成功实现了将CSV文件csv_extract.csv中的数据抽取到数据表csv中。

二.抽取JSON文件json_extract.js中的数据保存至数据库extract中的数据表json中。

1.打开kettle工具创建转换,并添加JSONinput控件。表输出控件以及Hop跳连接线,用于实现抽取JSON文件中的key值为id,field和value的数据,并保存至数据表json中,具体操作如下图所示:

kettle工具练习

2.配置JSON input 控件,具体操作效果如下图所示:

 kettle工具练习

 

 

 

kettle工具练习

 kettle工具练习

 kettle工具练习

 kettle工具练习

 3.配置表输出控件,具体操作效果如下图所示:

kettle工具练习

 kettle工具练习

 kettle工具练习

 kettle工具练习

 4.运行json_extract转换,实现将JSON文件中的数据抽取到数据表json中,执行结果如下图所示:

kettle工具练习

 从上图看出,JSON input控件输入2条数据并写入该控件中,JSON input2控件读取JSON input控件的2条数据的data字段中并获取6条数据作为输入并写入该控件中,表输出控件读取JSON input控件的2条数据,从这两条数据的data字段共获取6条数据作为输入并写入该控件中,也就是说,表输出控件从JSON input2流中读取6条数据均写入数据表json中。

5.查看数据表json是否已经成功插入6条数据,查看结果如下图所示:

kettle工具练习 

 从上图可以看出,数据表json中已经成功插入数据,说明成功实现了将JSON文件json_extract.json中key值为id,field,value的数据抽取到数据表json中。

注:本文所涉及操作详情请查《数据清洗–黑马程序员编著》一书第四章数据抽取。

后记:此次练习数据抽取操作过程中主要面临数据库连接问题,对于我个人而言,刚开始数据库连接与MySQL应用的确无从下手,面对数据库连接失败以及MySQL卸载与重新安装的确耗费了大量时间,尤其MySQL安装与卸载,不过通过求助周围人和网上查找详细资料也解决了这些问题。

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/181086.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • Extjs弹窗控件——Ext.MessageBox

    Extjs弹窗控件——Ext.MessageBox首先,浏览器自带的弹窗有alert、confirm、prompt等。js弹窗的3种方式:alert、confirm、prompt鉴于其外观丑陋以及配置不方便,我们常采用Extjs自带的弹窗控件。//

    2022年7月3日
    24
  • pycharm安装和环境配置_pycharm安装教程linux

    pycharm安装和环境配置_pycharm安装教程linuxPyCharm是一款PythonIDE,其带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如,调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制等等。此外,该IDE提供了一些高级功能,以用于支持Django框架下的专业Web开发。安装1.进入Pycharm官网的下载地址:链接:http://www.jetbrains.com/pycharm/download/#section=windows.2.professional表示专业版

    2022年8月27日
    7
  • 百度分享js代码_javascript基础代码

    百度分享js代码_javascript基础代码转自:http://www.internetke.com/effects/run/2013/1108/117.html更多document.getElementById(“bdshell_js”).src=”http://bdimg.share.baidu.com/static/js/shell_v2.js?cdnversion=”+Math.ceil(new

    2022年10月8日
    5
  • 黑群晖docker清理缓存_群晖Docker半洗白 不关机快速修改sn/mac方法

    黑群晖docker清理缓存_群晖Docker半洗白 不关机快速修改sn/mac方法老版本Docker下载地址:https://archive.synology.com/download/Package/spk/Docker/17.05.0-0401/Docker-x64-17.05.0-0401.spkDSM_DDSM_25426.pat下载地址:https://cndl.synology.cn/download/DSM/release/6.2.3/25426/DSM_DDS…

    2022年6月11日
    107
  • 面试JAVA常被问到的问题(持续更新中)

    面试JAVA常被问到的问题(持续更新中)引言有的面试会被问到有没有写博客,这时候我尴尬,不知道怎么回答,所以这篇文章仅仅是把我面试JAVA的遇到的问题记录下来而已,也算是我写博客迈出的第一步,起码,以后被问到:有没有写博客?我可以回答,我写过。 (最主要的是以后换工作我不用频繁百度常见面试题了。。。。)ps1,别把我太当回事,我是个LJ;2,说得不对的地方请多多包涵,想看更详细的请百度官方文档和其他大佬的文章;3,如果有被问到…

    2022年7月9日
    24
  • poe交换机连接方式_路由器接交换机怎么设置

    poe交换机连接方式_路由器接交换机怎么设置POE也被称为基于局域网的供电系统或有源以太网,有时也被简称为以太网供电,一个完整的POE系统包括供电端设备和受电端设备两部分。可能会有一些朋友对poe供电有一些疑问,这个在之前也有很多朋友问到过,那么,今天就由飞畅科技的小编来用图文为大家详细介绍下poe的几种供电方式和连接方法,感兴趣的朋友就一起来看看吧!poe交换机的4种连接方式一、交换机和终端都支持PoE这种方法PoE交换机直接通过网线接到支持PoE供电的无线AP和网络摄像机上,这种方…

    2022年10月4日
    6

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号