ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/132780.html原文链接:https://javaforall.net

(0)
上一篇 2022年6月10日 上午10:46
下一篇 2022年6月10日 上午10:46


相关推荐

  • dropdownlist事件的用法_list down

    dropdownlist事件的用法_list down前台添加了DropDownList以后,ListItem设置完成以后,想添加事件SelectedIndexChanged,如果没有在前台设置属性AutoPostBack=”true”,事件是不能触发的.下面是我修改成功的例子:前台代码:                                                                    

    2025年11月2日
    4
  • TiDB 分布式数据库搭建[通俗易懂]

    TiDB 分布式数据库搭建

    2022年3月5日
    103
  • ai—openClaw龙虾安装和理解

    ai—openClaw龙虾安装和理解

    2026年3月13日
    2
  • matlab空间计量AIC准则,关于AIC准则

    matlab空间计量AIC准则,关于AIC准则AIC准则提出背景计量经济学研究对象:量化的社会经济问题研究目的:利用已有信息,通过模型发现内在机理,并对未知信息作出统计推断核心问题:保证模型反映数据所代表的主要信息,降低噪声干扰项的影响,保证模型的预测准确性模型包含的信息量能否尽可能大?不能。一是干扰信息无法避免;二是若模型包含了全部信息,则模型的复杂度也会相应提高,相应地会提高经济学成本;三是人无法对模型的准确性做出客观而科学的评断。信息论…

    2022年5月10日
    35
  • C++23种设计模式(10)-桥接模式

    C++23种设计模式(10)-桥接模式将抽象部分与它的实现部分分离 使它们都可以独立地变化 考虑装操作系统 有多种配置的计算机 同样也有多款操作系统 如何运用桥接模式呢 可以将操作系统和计算机分别抽象出来 让它们各自发展 减少它们的耦合度 当然了 两者之间有标准的接口 这样设计 不论是对于计算机 还是操作系统都是非常有利的 include iostream include string usingnamespa 操作系统 classOS public virtualvoidI string iostream

    2026年3月16日
    3
  • Python运维常用的脚本,提高工作效率就靠它了

    Python运维常用的脚本,提高工作效率就靠它了前言用Python做运维的小伙伴肯定会进行重复的工作,这个时候脚本的重要性就体现出来了一个好的脚本工具可以帮你省去很多重复的工作,创造更大的价值下面小编就带你们看看Python运维最常用的脚本吧清除指定redis缓存#!/usr/bin/envpython3#-*-coding:utf-8-*-#@Time:2018-12-2015:19…

    2022年7月12日
    23

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号