Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
命名规范
- 表命名规范表命名规则： {层次}{源系统表名}{保留位/delta与否}。
- 增量数据：ods_{库名}_{表名}_{id}。
- 全量数据：ods_{库名}_{表名}。
- ODS ETL过程的临时表：tmp_{临时表所在过程的输出表}_{从0开始的序号}。
- 按小时同步的增量表：ods_{库名}_{表名}_{ih}。
- 按小时同步的全量表：ods_{库名}_{表名}_{hh}。
ps：如果库名可能重复，可使用编码来代替库名
- 字段命名规范
- 字段默认使用源系统的字段名。
- 字段名与关键字冲突时，在源字段名后加上col，即源字段名col。
- 同步任务命名规范
- 任务名：和表名保持一致。
数据存储及生命周期管理规范
| 数据表类型 | 存储方式 | 最长存储保留策略 |
|---|---|---|
| ODS流水型全量表 | 按天分区 |
|
| ODS镜像型全量表 | 按天分区 |
|
| ODS增量表 | 按天分区 |
|
| ODS ETL过程临时表 | 按天分区 | 最多保留最近7天分区。 |
| DBSync非去重数据 | 按天分区 | 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。 |
数据质量规范
- 每个ODS全量表必须配置唯一性字段标识。
- 每个ODS全量表必须有注释。
- 每个ODS全量表必须监控分区空数据。
- 仅有监控要求的ODS表才需要创建数据质量监控规则。
- 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
- 建议对ODS表的数据量及数据记录数设置周同环比监控，如果周同环比无变化，表示源系统已迁移或下线。
欢迎评论
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/189160.html原文链接：https://javaforall.net
