大数据数据分析架构探究

大数据数据分析架构探究

从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100976.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 视频地址获取

    软件具体名字就不说了哈,首先贴出视频的网页地址:http://www.365yg.com/a6542366077089743367/首先需要获取视频的videoId,直接请求该url,然后match匹配:Patternpattern=Pattern.compile("videoId:\'(.+)\’");Matchermatcher=pattern.ma…

    2022年4月8日
    61
  • 数据库向DropDownList1绑定数据

    数据库向DropDownList1绑定数据常用方法stringConnString=@”DataSource=PC-20140331BMRR\SQLEXPRESS;InitialCatalog=lianxi;IntegratedSecurity=True”;      //创建一个SqlConnection      SqlConnectionConn=newSqlConnect

    2022年7月18日
    18
  • java dom4j 查找_Java使用dom4j查询xml元素

    java dom4j 查找_Java使用dom4j查询xml元素1.Java使用dom4j查询xml元素:1.1book.xml文件如下:a1疯狂Java讲义(附光盘)李刚编著74.20java.jpg总结了几百个Java学员学习过程中的典型错误.]]>a2轻量级JavaEE企业应用实战李刚编著59.20ee.jpg本书主要介绍以Spring+Hibernate为基础的JavaEE应用.2.使用dom4j查询xml元素:创建一个TestPath类…

    2022年7月14日
    15
  • visualsvn安装教程_visualsvn使用教程

    visualsvn安装教程_visualsvn使用教程VisualSVN安装配置与使用1、所选服务器安装包:VisualSVN-Server-2.1.3.msi、2、客户端安装包:TortoiseSVN-1.6.2.16344-win32-svn

    2022年8月4日
    6
  • 中级java笔试题_Java中级面试题合集[通俗易懂]

    中级java笔试题_Java中级面试题合集[通俗易懂]Java中级面试题合集:1.弹出式选择菜单(Choice)和列表(List)有什么区别Choice是以一种紧凑的形式展示的,需要下拉才能看到所有的选项。Choice中一次只能选中一个选项。List同时可以有多个元素可见,支持选中一个或者多个元素。2.如何确保N个线程可以访问N个资源同时又不导致死锁?使用多线程的时候,一种非常简单的避免死锁的方式就是:指定获取锁的顺序,并强制线程按照指定的顺序获取锁…

    2022年6月25日
    31
  • Hmily(1)

    Hmily(1)1. Hmily是个高性能异步分布式事务TCC框架,具体包含SpringAOP,Disruptor,Dubbo等框架,当然还有其他的RPC框架。源码在https://github.com/yu199195/hmily,本文以duubo调用,mysql存储事务日志,kryo序列化为主,主要以下单支付减库存减余额为例,注解为Hmily,确认方法,取消方法和本次的tyr操作方法参数应该保持一致。前两个…

    2022年5月22日
    42

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号