数仓分层简介(实时数仓架构)

数仓1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。2.数仓分层具体实现ODS(OperationDataStore)层:原始数据层,存原始数据,直接加载原始日志、数据DWD(DataWarehouseDetail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)DWS(DataWarehouseService)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日

大家好,又见面了,我是你们的朋友全栈君。

数仓分层简介

1.数仓分层好处:复杂问题简单化;减少重复开发;隔离原始数据。

2.数仓分层具体实现

ODS(Operation Data Store)层:原始数据层,存原始数据,直接加载原始日志、数据

DWD(Data Warehouse Detail)层:明细数据层也有叫DWI层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值、脏数据、超过极限范围的数据、行式存储转列式存储、改压缩格式)

DWS(Data Warehouse Service)层:服务数据层,以DWD为基础进行轻度汇总。比如:用户当日、设备当日、商品当日。

ADS(Application Data Store)层:数据应用层也有叫App层或DM层,为各种统计报表提供数据

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/126974.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • java8 list转换对象_Java8将List对象转换Map「建议收藏」

    java8 list转换对象_Java8将List对象转换Map「建议收藏」基于Java8的函数式编程概念,去实现List转换MappublicclassDemoMian2{publicstaticvoidmain(String[]args){ListusersList=newArrayList();Usersusers=newUsers();users.setId(1L);users.setName(“张三”);users.setSex(…

    2022年5月16日
    298
  • Lc5-最长回文字串

    Lc5-最长回文字串Lc5-最长回文子串js求数组求字符串的长度都是length方法js字符串截取,varlongestPalindrome=function(s){letres=”;for(leti=0;i<s.length;i++){letl=i-1,r=i+1;sub(l,r);l=i,r=i+1;sub(l,r);fu

    2022年7月24日
    7
  • JavaScript之ES6数组排序 高逼格!

    JavaScript之ES6数组排序 高逼格!前言:针对于前端开发者来讲、数组排序的应用场景其实并不多,大多数情况下都是后台数据排序之后再返回给前端。但是很多面试题中会经常遇到数组排序的问题,经典案例有冒泡排序、插入排序、选择排序等等…逻辑性比较强硬。为了追求完美、拒绝花里胡哨,所以今天写一篇以ES6相关知识实现排序的文章、并且挂载至原型链上方便使用,希望对大家的开发有所帮助!技术点:ES6中sort()方法、箭头函数,p…

    2022年5月2日
    43
  • mbus总线电路_CPU电路

    mbus总线电路_CPU电路发送也就是24V,36V切换,24V低电平,36V是高电平;主机接收电路可以高端放大也可以低端放大,设备端只会消耗固定的电流,mbus网络趋于稳定,负载时稳定的,当设备端发送数据时,mbus网络中电流会有所变化,通过采样电阻,电压跟随器,差分放大,采样保持电路,获取ttl电平,短路过载保护也是通过低端采样电阻控制供电开关的。…

    2022年10月15日
    0
  • 回调函数的理解

    回调函数的理解回调函数的理解

    2022年4月24日
    34
  • 怎么查看linux系统内核版本_linux服务器版本

    怎么查看linux系统内核版本_linux服务器版本linux下如何查看系统和内核版本(2011-04-1117:35:16)标签:linuxversion杂谈1.查看内核版本命令:1)[root@q1test01~]#cat/proc/versionLinuxversion2.6.9-22.ELsmp(bhcompile@crowe.devel.redhat.com)(gccversion3.4.420050721(Re…

    2022年10月9日
    0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号