数仓分层简介(实时数仓架构)

数仓1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。2.数仓分层具体实现ODS(OperationDataStore)层:原始数据层,存原始数据,直接加载原始日志、数据DWD(DataWarehouseDetail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)DWS(DataWarehouseService)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日

大家好,又见面了,我是你们的朋友全栈君。

数仓分层简介

1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。

2.数仓分层具体实现

ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据

DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)

DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。

ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/126974.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • cocos2dx luajit_如何还原文件打开方式

    cocos2dx luajit_如何还原文件打开方式最近对一款游戏的lua脚本提取,发现提取出来的脚本都是LJ格式的文件。如图:image在网上找了好几个工具都没什么用,最后在github找到了luajit-decomp-master,还原出来的伪代码基本能看懂,但是还是有残缺。如果不明确的逻辑和数据还是要结合ida动态调试。可以看看效果原lua源码functioniter(a,i)i=i+1…

    2022年9月28日
    1
  • goland 永久激活 3月最新注册码

    goland 永久激活 3月最新注册码,https://javaforall.net/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

    2022年3月15日
    37
  • 聚类分析的常用算法_聚类算法的基本原理

    聚类分析的常用算法_聚类算法的基本原理原博文:聚类是一种机器学习技术,它涉及到数据点的分组。给定一组数据点,我们可以使用聚类算法将每个数据点划分为一个特定的组。理论上,同一组中的数据点应该具有相似的属性和/或特征,而不同组中的数据点应该具有高度不同的属性和/或特征。聚类是一种无监督学习的方法,是许多领域中常用的统计数据分析技术。在数据科学中,我们可以使用聚类分析从我们的数据中获得一些有价值的见解。在这篇文章中,我们将研究5种流…

    2022年8月29日
    2
  • 项目开发中DEV、QAS、PRD是什么意思

    开发常用名词说明IDES:InternetDemonstrationandEvaluationSystem交互式演示与评估系统DEV:DevelopmentSystem,开发系统QAS:QualityAssuranceSystem,质量保证系统UAT:UserAcceptance…

    2022年4月4日
    137
  • Oracle 11g数据库详细安装步骤图解,附带安装包

    Oracle 11g数据库详细安装步骤图解,附带安装包1.先到Oracle官网上下载11goracleDatabase11g第2版(11.2.0.1.0)标准版、标准版1以及企业版,适用于MicrosoftWindows(x64)的OracleDatabase11g第2版(11.2.0.1.0),下载地址(需要注册登录):http://download.oracle.com/otn/nt/ora…

    2022年5月7日
    55
  • Hibernate二级缓存问题[通俗易懂]

    Hibernate二级缓存问题[通俗易懂]相关概念和定义1、缓存的意义把一些不常修改,但是又经常用的数据存放到内存中,这样能减少与数据库的交互,提升程序的性能2、Hibernate中提供了两级缓存:第一级别的缓存是Session级别的缓存(比如说在调用get方法的时候,如果已经查询过一次了,第二次就不会查了,而是直接返回session缓存中已经存在的那个对象给你,不过这个只对当前Session有效,一旦又开一个新的Sess…

    2022年5月23日
    36

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号