数据建模之ODS层命名规范及质量规范

数据建模之ODS层命名规范及质量规范命名规范表命名规范表命名规则:{层次}{源系统表名}{保留位/delta与否}。 增量数据:ods_{库名}_{表名}_{id}。 全量数据:ods_{库名}_{表名}。 ODSETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。 按小时同步的增量表:ods_{库名}_{表名}_{ih}。 按小时同步的全量表:ods_{库名}_{表名}_{hh}。 ps:如果库名可能重复,可使用编码来代替库名字段命名规范 字段默认使用源系统的字段名。 字段名与.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

命名规范

  • 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:ods_{库名}_{表名}_{id}。
    • 全量数据:ods_{库名}_{表名}。
    • ODS ETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。
    • 按小时同步的增量表:ods_{库名}_{表名}_{ih}。
    • 按小时同步的全量表:ods_{库名}_{表名}_{hh}。

ps:如果库名可能重复,可使用编码来代替库名

  • 字段命名规范
    • 字段默认使用源系统的字段名。
    • 字段名与关键字冲突时,在源字段名后加上col,即源字段名col。
  • 同步任务命名规范
    • 任务名:和表名保持一致。

数据存储及生命周期管理规范

数据存储及生命周期管理规范
数据表类型 存储方式 最长存储保留策略
ODS流水型全量表 按天分区
  • 不可再生情况下,永久保存。
  • 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
  • 自主设置是否保留历史月初数据。
  • 自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
  • 重要的业务表及需要保留历史的表视情况保存。
  • ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。
ODS增量表 按天分区
  • 有对应全量表,最多保留最近14天分区数据。
  • 无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。

数据质量规范

  • 每个ODS全量表必须配置唯一性字段标识。
  • 每个ODS全量表必须有注释。
  • 每个ODS全量表必须监控分区空数据。
  • 仅有监控要求的ODS表才需要创建数据质量监控规则。
  • 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
  • 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。

欢迎评论

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/189160.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • WerFault.exe 占用CPU 100%的问题处理[通俗易懂]

    WerFault.exe 占用CPU 100%的问题处理[通俗易懂]转载自:https://technet.microsoft.com/en-us/library/cc754364(v=ws.11).aspx关于禁用WerFault.exe进程的操作方法,网络上的其它设置都不生效,通过官方给出的操作,完美的禁用了此进程,适用于win2008。AppliesTo:WindowsServer2008R2WindowsErrorRe…

    2022年6月15日
    33
  • 查看数据库隔离级别,mysql

    查看数据库隔离级别,mysql1.查看当前会话隔离级别select@@tx_isolation;2.查看系统当前隔离级别select@@global.tx_isolation;3.设置当前会话隔离级别setsessiontransactionisolatinlevelrepeatableread;4.设置系统当前隔离级别setglobaltransac…

    2022年5月9日
    154
  • nodejs安装教程Windows版本

    nodejs安装教程Windows版本npm 安装的全局模块所在的路径 缓存 cache 的路径 如有错误 请用管理员身份打开 cmd 执行命令 目的避免占 C 盘空间

    2025年10月15日
    2
  • 彻底禁止win10更新的锅「建议收藏」

    彻底禁止win10更新的锅「建议收藏」背景:tonight,和往常一样,就在打开vmware的一瞬间……突然弹出下面这个令人懵逼致死的图:百度搜索一通,众说纷纭,发现竟然还是win10系统的锅。下面开始解决问题,直接上图:这1903版本不支持vmware14,需要更新vm为15版本,商业套路,NM真够了,果断拒绝,还是另想办法吧;想着把1903更新卸载了,但是没有卵用,重启之后,出现下图,反应老半天…

    2022年6月17日
    23
  • 数据结构:图结构的实现「建议收藏」

    数据结构:图结构的实现「建议收藏」图是一种很重要的数据结构,不解释。

    2022年6月28日
    31
  • Windows平台及服务器部署安装多个Tomcat服务(详细版)

    Windows平台及服务器部署安装多个Tomcat服务(详细版)Tomcat安装有两种方式,一是下载安装版,这个也是在部署多个Tomcat服务的时候最方便的,也是最快的,二是就是下载免安装版,解压即可,单个Tomcat免安装版是最快的。一、下载Tomcat,我用的是Tomcat8.5到Tomcat官网http://tomcat.apache.org/,根据需求下载所需要的版本我下载的是Tomcat8.5二、安装二.一安装版下载…

    2022年6月18日
    33

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号