ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/132780.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 苹果4代电池容量_iPhone4s电池

    苹果4代电池容量_iPhone4s电池苹果4代电池不耐用iphone论坛!入手IPHONE必看!2011年05月14日  苹果4代电池不耐用iphone论坛!入手IPHONE必看!发表于2011年04月30日由adminiphone论坛!入手iphone必看!  1./private/var/mobile新刷完的机器,要在这个文件夹下建一个documents的目次,许多程序都要用到。  2./p…

    2022年9月20日
    3
  • charles(2)MAC Charles关闭后无法上网「建议收藏」

    charles(2)MAC Charles关闭后无法上网「建议收藏」前言charles关闭后,发现网页突然打开了,那大概率是设置了代理,但明明已经关闭了charles,这是由于mac网络偏好设置中,使用的是手动代理,将其改为自动即可解决方法1打开网络偏好设置,

    2022年7月29日
    18
  • Java中&0xFF是什么意思?计算机的原码、补码和反码

    Java中&0xFF是什么意思?计算机的原码、补码和反码公司项目中有向MCU发数据的代码,新来的同事对其中的&0xFF很不理解,我解释了很多遍他还是蒙圈状态,可能我的表达能力太差,想想还是用一篇博客来详细说明吧,代码如下:更新:07月10日,有个小伙伴对这种操作各种不习惯,怎么解释他都想不明白,所以增加了代码注释为什么要加上“&0xFF”?拆分理解下0xFF是16进制的表达方式,F是15;十进制为:255,二进制为:11111111

    2022年6月19日
    848
  • Delphi 2007体验!

    Delphi 2007体验!

    2021年12月6日
    35
  • 循环队列的元素个数计算公式是什么_队列求元素个数

    循环队列的元素个数计算公式是什么_队列求元素个数因为循环对列,rear不一定比front大如果rear<front结果是rear-front+maxsize如果rear>front结果是rear-front为了用一个表达式同时表达两者,用(rear-front+maxsize)%maxsize假设maxsize=10rear=1front=9,那么结果是2rear=9front=1,那么结果是8…

    2025年7月18日
    3
  • 光栅化 (Rasterization)

    光栅化 (Rasterization)上一篇文章讨论了如何在多边形的某一点上分配光强度值,这里主要讨论如何为多边形确定实际的像素,即在栅格屏幕上的对应位置,这个过程称为光栅化(Rasterization)或者扫描转换(Scanconv

    2022年8月4日
    14

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号