数仓分层简介(实时数仓架构)

数仓1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。2.数仓分层具体实现ODS(OperationDataStore)层:原始数据层,存原始数据,直接加载原始日志、数据DWD(DataWarehouseDetail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)DWS(DataWarehouseService)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日

大家好,又见面了,我是你们的朋友全栈君。

数仓分层简介

1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。

2.数仓分层具体实现

ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据

DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)

DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。

ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/126974.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 计算机快捷键任务管理器,打开电脑任务管理器快捷键是什么

    计算机快捷键任务管理器,打开电脑任务管理器快捷键是什么电脑使用很广泛,很多时候在使用电脑的过程中都会用到任务管理器,学习啦小编整理的本文为大家讲解打开电脑任务管理器快捷键是什么,一起来了解吧。打开电脑任务管理器快捷键是什么设备管理器是Windows操作系统提供的对计算机硬件进行管理的一个图形化工具。一般我们可通过设备管理器查看计算机硬件的配置信息,获取相关硬件的驱动程序信息以及进行更新、禁用、停用或启用相关设备等。打开电脑任务管理器快捷键:Ctrl+…

    2022年6月18日
    28
  • 基于rv1108的以太网PHY层芯片LAN8720A的使用简介

    基于rv1108的以太网PHY层芯片LAN8720A的使用简介lan8720a的系统框图:以下是lan8720a的芯片的内部架构框图:lan8720a的芯片引脚的描述:实际项目中硬件的连接:rv1108部分的原理图:lan8720部分的原理图:从原理图上来看,lan8720a的引脚LED1/REGOFF是处于悬空状态,使用了lan8720a芯片内部集成的1.2V稳压器。引脚RXER/PHYAD0直接接到芯片的…

    2022年6月16日
    72
  • 【蓝桥杯】双非本科?大一大二不敢参加?这篇蓝桥全解析帮你打消疑虑轻松获奖【内附蓝桥资源和学习路线】

    【蓝桥杯】双非本科?大一大二不敢参加?这篇蓝桥全解析帮你打消疑虑轻松获奖【内附蓝桥资源和学习路线】⭐️引言⭐️大家好,我是执梗,最近蓝桥杯的报名正如火如荼的开展,许多院校也开展了院赛筛选,许多大一大二的小伙伴陷入了是否该报名的疑虑。蓝桥杯到底是啥?蓝桥杯适合我参加吗?我现在零基础还来得急吗?我要是陪跑了报名费三百块岂不是交智商税了?就算报名了我该如何去训练呢?…..话不多说,我们挨个解答(结尾有免费的真题和解析以及配套的考试环境搭建,建议收藏)⭐️目录⭐️????1.蓝桥杯到底是什么?????2.我们为什么要参加蓝桥杯?????1.含金量高…

    2022年4月29日
    99
  • anaconda卸载环境[通俗易懂]

    anaconda卸载环境[通俗易懂]如果是用anaconda新建了一个环境(比如原生py2.7版本的anaconda,新建了一个py3.6的环境),现在要将py3.6卸载,也就是将这个环境、包括第三方库和python3.6本身都删除,那么可以这样做:1.打开anaconda自带的命令行工具2.确保当前激活的环境不是你要卸载的环境,如果是,那么需要运行:activatexxxxxx是其他环境名,切换到其他环境3….

    2022年6月26日
    79
  • 关于转置卷积(反卷积)的理解[通俗易懂]

    关于转置卷积(反卷积)的理解[通俗易懂]本文地址:https://blog.csdn.net/isMarvellous/article/details/80087705,转载请注明出处。什么是转置卷积(反卷积)?转置卷积(TransposedConvolution)又称为反卷积(Deconvolution)。在PyTorch中可以使用torch.nn.ConvTranspose2d()来调用,在Caffe中也有对应的层deco…

    2022年6月21日
    28
  • idea替换的快捷键_idea快捷键main方法

    idea替换的快捷键_idea快捷键main方法Macidea替换快捷键

    2022年9月28日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号