ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/132780.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 如何在 mac 全屏显示网页,且无地址栏、书签栏、任何栏遮挡

    如何在 mac 全屏显示网页,且无地址栏、书签栏、任何栏遮挡

    2022年2月11日
    125
  • cBridge 2.0 测试网上线!

    cBridge 2.0 测试网上线!我们在上个月末发布了cBridge2.0计划,现在我们很高兴地向大家宣布,cBridge2.0测试网正式启动!cBridge2.0建立的目的是为用户提供更简单的操作体验,它具有高度可扩展和足够深度的多链流动性管理系统,每日为用户提供数十亿美元的跨链转账流动性。用户和流动性提供者(LPs)可以通过test-cbridge-v2.celer.network访问cBridge2.0测试网,熟悉更简单的跨链转账流程,全新的流动性管理和流动性挖矿功能。随着测试网上线,我们同时推出了一…

    2022年6月4日
    41
  • 规范化理论:多值依赖的理解_依赖关联泛化实现

    规范化理论:多值依赖的理解_依赖关联泛化实现多值依赖的定义我们用一个例子来引出多值依赖(MultivaluedDependency,MVD)的含义。假设学校中一门课程可由多名教师讲授,教学中他们使用相同的一套参考书,这样我们可用下图的非规范化的关系来表示课程C、教师T和参考书B间的关系。关系CTB如果关系CIB转化成规范化的关系,如图所示。规范后的关系CTB由此可以看出,规范后的关系模式…

    2025年7月28日
    2
  • docker(2)CentOS 7安装docker环境「建议收藏」

    docker(2)CentOS 7安装docker环境「建议收藏」前言前面一篇学了mac安装docker,这篇来学习在linux上安装docker环境准备Docker支持以下的CentOS版本,目前,CentOS仅发行版本中的内核支持Docker。Doc

    2022年7月28日
    7
  • 王艳茹网课答案创业基础超星尔雅答案2021

    王艳茹网课答案创业基础超星尔雅答案2021创业的概念与功能1【单选题】下列对创业定义理解不正确的一项是(B)A、创业者通过资源整合来达到创业目标B、创业伴随新行业的出现C、寻求机会是产生创业活动的重要一环D、创业伴随新价值的产生创业的要素和阶段1【单选题】创业的关键要素不包括(C)A、机会B、团队C、技术D、资源2【多选题】创业可分为哪些阶段(ABCD)A、机会识别B、资源整合C、新企业创办D、企业生存3【多选题】下列说法中正确的有(ABC)A、商业机会是创业过程的重…

    2022年6月6日
    65
  • 如何设置Potplayer-x64

    如何设置Potplayer-x64如何设置Potplayer-x64本文章将记录如何从初始化进行Potplayer的设置安装官网下载x64版并安装,如果出现“OnlySupportWindowsXP”错误提示时可尝试卸载重装。安装结束时选择OpenCode以及…H/W…选项配置文件本地化设置在基本选项中选择“保存设置到ini文件”,该选项可以保留配置。皮肤设置将皮肤文件放到skin文件夹中,然后在右键皮肤菜单-图层式皮

    2022年9月14日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号