大家好，又见面了，我是你们的朋友全栈君。
[原创]ETL开发流程随笔
ETL开发
数据仓库ODS到DWD的ETL工作流程记录
ETL工作目标
目前我们做销售主题域下的ODS-DWD层的ETL工作，我准备把 工作中遇到的问题和想法记录下来，好的开始我们的主题
ETL工作目的主要有：
1.源系统ERP各城市库的整合
2.每个城市不同规则的统一、数据转换
3.数据缺失值的处理(填充的规则怎么定)
4.异常值的处理
5.内容中不该出现或者存在的字符处理(寻找我们应用的数据的前端校验设计是否良好)
6.去重处理
还有个问题是 例如 房源表在其他系统中是否存在我们想要的数据
ETL工作流程
- 准备工作-ETL设计-脚本开发-脚本自测
准备工作
1.各城市库整合，按城市分区过程中收集各城市系统存在的数据格式不统一的问题 ETL设计-数据格式需求.doc2.准备好 数据仓库dwd层建表DDL --> 销售主题域DW层定版-20191119.xlsx 其中包含维度表、事实表的数据字典、修改日志、字段的ddl 构成语句 数据仓库数据字典0802.xlsx 为源系统的数据字典3.审核确定事实维度表的加载策略，变更内容、变更记录4.清洗规则说明.doc5.脚本规范说明6.脚本模版说明ETL开发上线包
主要任务介绍上线包文件组成
ETL开发模版统一和规范
- 统一出事和周期开发脚本模版
- 统一数据处理变更脚本模版
- 统一应用开发脚本模版
- 统一Sql 文件脚本模版
- 统一ETL逻辑设计文档模版
- 规范类型转换
- 规范脚本测试和自测
- 规范自动调度系统配置
ETL设计
- 主要任务：
完成ETL过程设计
(数据整合、转换、清洗、数据勘查的设计)- 输出：
数据缺失异常值校验.xlsx
ETL映射表.xlsx
ETL实施方案.xlsx - 此表中包含
ods层到dwd 或者中间表的 映射
ETL工作者归属
每个表的清洗、整合逻辑记录在此表
- 输出：
ETL开发
- 主要任务：
根据ETL设计的逻辑开发脚本- 输入：
数据仓库数据字典0802.xlsx
ETL映射表.xlsx
ETL实施方案.xlsx
销售主题域DW层定版-20191119.xlsx - 输出：
初始化/周期/数据处理/代码表/sql脚本/mapreduceJob/sparkJob
- 输入：
ETL测试
自动调度系统配置
待完善
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/133057.html原文链接：https://javaforall.net
