数仓分层简介(实时数仓架构)

数仓1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。2.数仓分层具体实现ODS(OperationDataStore)层:原始数据层,存原始数据,直接加载原始日志、数据DWD(DataWarehouseDetail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)DWS(DataWarehouseService)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日

大家好,又见面了,我是你们的朋友全栈君。

数仓分层简介

1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。

2.数仓分层具体实现

ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据

DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)

DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。

ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/126974.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • log4j使用教程详解(怎么使用log4j2)_log4j配置详解

    log4j使用教程详解(怎么使用log4j2)_log4j配置详解日志是应用软件中不可缺少的部分,Apache的开源项目Log4j是一个功能强大的日志组件,提供方便的日志记录。在apache网站:jakarta.apache.org/log4j可以免费下载到Log4j最新版本的软件包。

    2025年7月29日
    1
  • protel相关资料

    protel相关资料PCB设计技巧问与答Q:请问就你个人观点而言:针对模拟电路(微波、高频、低频)、数字电路(微波、高频、低频)、模拟和数字混合电路(微波、高频、低频),目前PCB设计哪一种EDA工具有较好的性能价格比(含仿真)?可否分别说明。A:限于本人应用的了解,无法深入地比较EDA工具的性能价格比,选择软件要按照所应用范畴来讲,我主张的原则是够用就好。常规的电路设计,INNOVEDA的PA

    2022年6月7日
    33
  • stardict 词典名

    stardict 词典名

    2021年7月31日
    44
  • APK签名机制之——V2签名机制详解「建议收藏」

    APK签名机制之——V2签名机制详解「建议收藏」通过前一篇《Apk签名机制之——JAR签名机制详解》的分析我们知道,JAR签名需要对apk内所有文件进行hash校验,当资源较多时签名验证速度较慢。为了加快验证速度并加强完整性保证,Andorid在7.0引入一种全文件签名方案V2。下面来看V2方案的具体设计原理。

    2022年5月10日
    45
  • Python数组的使用_算法高效性

    Python数组的使用_算法高效性如果我们需要一个只包含数字的列表,那么使用数组方式比list方式更高效。而且数组还支持所有跟可变序列有关的操作,比如移除列表中的一个元素(.pop)、插入元素(.insert)和在列表末尾一次性追加另一个序列中的多个值(.extend)。除此之外,数组还定义从文件读取(.frombytes)与写入(.tofile)的效率更高的方法。创建数组需要一个类型码,形如array(‘d’),这个类型码是用来表示在底层实现的C语言的数据类型。一般我们用的Python底层是用C语言编写实现的&n

    2022年8月13日
    4
  • 国产linux操作系统深度系统20.3发布(推荐)

    国产linux操作系统深度系统20.3发布(推荐)深度操作系统(deepin)是一个致力于为全球用户提供美观易用、安全稳定服务的Linux发行版,同时也一直是排名最高的来自中国团队研发的Linux发行版。(了解deepin国际排名)深度操作系统20.3,升级Stable内核到5.15版本,进一步提升兼容性。修复系统安全漏洞,增强安全性。部分深度应用新增及优化常用功能,满足不同场景下的使用需求。针对桌面环境部分问题修复及优化,只为带来更好体验。更强大的内核版本Stable内核升级到5.15版本,增强对Intel12代U和NTFS文件系统的支

    2022年5月16日
    44

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号