ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/132780.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 支持外链的免费相册地址集合

    支持外链的免费相册地址集合国内的:1.http://www.yupoo.com稳定.相册初始空间是61M.以后每月新增加61M空间.空间大小不断累计.不用担心不够用的说~~~关键在于…这个不加它们的网站LOGO-.-单张最大可传2M的图.外链速度稳定.{偶在用…所以清楚-。-}现在已经支持批量上传以及客户端上传等模式啦~[3月的补充说明:因为YUPOO升级,但仍然提供外链地址.请点击"原图",然后图片上…

    2022年6月19日
    20
  • clion永久激活码2021_在线激活

    (clion永久激活码2021)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

    2022年3月21日
    230
  • 链表排序最优算法_链表算法题

    链表排序最优算法_链表算法题链表排序算法总结概述问题描述:给定一个链表,请将这个链表升序排列。节点定义:structListNode{intval;ListNode*next;ListNode(intx):val(x),next(NULL){}};1链表插入排序题目描述:Leetcode0147链表进行插入排序分析因为头结点可能会改变,因此需要设置一个虚拟头结点dummy。我们从前向后遍历整个链表,假设当前考察节点为p,我们需要从

    2022年10月10日
    0
  • 【C/C++】C语言特性总结

    【C/C++】C语言特性总结已经有大约半年的时间没有碰C语言了,当时学习的时候记录了很多的笔记,但是都是特别混乱,后悔那个时候,不懂得写博客,这里凭借记忆和零零散散的笔记记录,尝试系统性地复习一下C语言。之前都是在Windows环境下学习,这次把重心放在Linux环境下,这次的复习源于基础,但是要高于基础。文章目录工具gcc编译器VS2019C语言编译过程C语言代码主体必要内容C语言数据类型关键字常量变量进制表示s…

    2022年6月21日
    14
  • 重构什么意思_直接重购

    重构什么意思_直接重购Percona PT-kill重构版(PHP)

    2022年4月20日
    56
  • origin绘图同时添加柱状图和折线图

    origin绘图同时添加柱状图和折线图在绘制数据图时,为了清晰反应不同数据之间的关系,往往需要在同一个图中同时添加柱状图和点线图。这时候需要左右两个纵坐标。下面介绍这种图的绘制方法1、首先绘制一个柱状图,具体绘制方法可以参考上一篇博客:origin绘图软件安装包及入门使用2在图的右侧插入刻度线,插入顺序如下图所示,点击图–>新图层(轴)–>右Y轴3、添加完后双击右侧刻度线修改刻度的起始值和要插入的点线图数值范围对应4、插入折线图,选择图->添加点线图,从book中选择要绘制点线图的数据导入到右侧

    2022年5月22日
    422

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号