ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名:zyc密码:123456界面只是为了参考功能,底层的数据.

大家好,又见面了,我是你们的朋友全栈君。

目录

项目源码

创建mysql数据源

创建本地hdfs数据源

配置采集任务

配置调度

点击执行记录查看具体日志

高级使用


 

项目源码

数据采集平台管理端

https://github.com/zhaoyachao/zdh_web

数据采集平台服务

https://github.com/zhaoyachao/zdh_server

web端在线查看

http://zycblog.cn:8081/login

用户名:zyc
密码:123456

界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情

如果觉得项目不错记得分享给同伴和点star!!!

 

创建mysql数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

创建本地hdfs数据源

 ZDH大数据采集平台-采集mysql数据到hdfsZDH大数据采集平台-采集mysql数据到hdfs

配置采集任务

1.ZDH大数据采集平台-采集mysql数据到hdfs  

ZDH大数据采集平台-采集mysql数据到hdfs

.ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

配置调度

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

ZDH大数据采集平台-采集mysql数据到hdfs

点击执行记录查看具体日志

   不介绍,使用者自己点击查看

高级使用

 1 采集的数据需要做特定转换怎么办(如去除字段空格,日期格式转换,加减乘除)

   解:配置etl任务时,配置字段映射 使用sql 函数

2 目前的任务中都是固定参数或者无参,需要使用调度时间怎么办

 解:目前zdh 支持 调度的时间如下

{
{ zdh_date_time}} :yyyy-MM-dd HH:mm:ss 格式

{
{zdh_date}}: yyyy-MM-dd 格式

{
{zdh_date_nodash}}: yyyyMMdd 格式

{
{zdh_year}}:年

{
{zdh_month}}:月

{
{zdh_day}}:日

{
{zdh_hour}}:小时

{
{zdh_minute}}:分钟

{
{zdh_second}}:秒

3:是否支持告警

 解:目前只支持邮件告警,短信告警等其他告警需要自己实现,后期单独出如何对接其他告警

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/132780.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 解决Eclipse中文乱码

    解决Eclipse中文乱码使用Eclipse编辑文件经常出现中文乱码或者文件中有中文不能保存的问题,Eclipse提供了灵活的设置文件编码格式的选项,我们可以通过设置编码格式解决乱码问题。在Eclipse可以从几个层面设置编码格式:Workspace、Project、ContentType、File 本文以Eclipse3.3(英文)为例加以说明: 1.设置Workspace的编码格式: Windows

    2022年5月13日
    37
  • SpringBoot笔记(1)

    SpringBoot笔记(1)

    2021年11月12日
    44
  • vue父子组件传值方法_vue父组件向子组件传递对象

    vue父子组件传值方法_vue父组件向子组件传递对象前言在业务场景中经常会遇到子组件向父组件传递数值,或是父组件向子组件传递数值,下面将结合vue富文本框一起来了解一下父与子组件之间的传值业务场景在vue项目中创建了一个可以重复使用的富文本编辑器(可参考【vue】vue富文本编辑器(可重复使用组件)vue-quill-editor),由于是新闻编辑页面,首先需要把已经保存好的新闻内容展示在富文本编辑器中(父组件向子组件传值),其次需要把更新后的新闻内容保存到数据库中(子组件向父组件传值)父组件向子组件传值(v-bind:child.

    2022年9月5日
    3
  • JSP简单练习-获取表单数据

    JSP简单练习-获取表单数据

    2022年1月28日
    35
  • Spring Boot拦截器配置拦截登陆「建议收藏」

    Spring Boot拦截器配置拦截登陆「建议收藏」一,pom.xml的配置这里很简单,先引入spring-boot-starter-parent,parent是父模块,由父模块统一进行spring-boot版本管理,dependencies中与spring-boot启动绑定的包不需要再指定版本。<parent><groupId>org.springframework.boot<…

    2022年7月25日
    17
  • 数据仓库——阿里五层模型架构「建议收藏」

    数据仓库——阿里五层模型架构「建议收藏」目录1.ODS数据准备层2.DWD数据明细层3.DW(B/S)数据汇总层4.DM数据集市层5.ST数据应用层解码OneData,阿里的数仓之路1.ODS数据准备层

    2022年8月5日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号