大数据数据分析架构探究

大数据数据分析架构探究

从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100976.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • Java中Scanner的nextInt(),next(),nextLine()方法总结[通俗易懂]

    Java中Scanner的nextInt(),next(),nextLine()方法总结[通俗易懂]前言:借别人的例子做个总结。原文出处:http://www.cnblogs.com/gold-worker/archive/2013/04/10/3013063.html代码一packagecn.dx;importjava.util.Scanner;publicclassScannerTest{publicstaticvoidmain(String[]

    2022年5月2日
  • java软件工程师和java开发工程师区别_软件测试工程师

    java软件工程师和java开发工程师区别_软件测试工程师有很多朋友只知道“软件工程师”这个五个字是一个职业,并不清楚这个职业具体的诸多事情,而对于“java工程师”这个职业应该就更为陌生了。其实因为这个充满网络和数据的信息时代,人们对这种新兴的职业已经不是那么陌生了,甚至因为良好的发展态势和不错的薪资待遇吸引来了很多的人,想要学习java和软件技术并进而从事这两个职位。今天就来和大家科普一下java工程师和软件工程师的关系是什么,二者各自具体的工作性质和岗位职责是什么,帮有想了解java工程师和软件工程师的朋友们解答疑惑,能更好的认识这两个职位。首先来说软件工

    2022年9月23日
  • 真封神虚拟服务器,服务器端文件详细介绍即修改(三)

    真封神虚拟服务器,服务器端文件详细介绍即修改(三)我们每星期加三个修改教程,废话不多说开始吧。1.打开服务器端,修改等级在version\chinese_gb\config的game_rule.ini可以设置最高等级和宝宝最高等级包括传送最高多钱。PK设置等等。这个相信大家一看就明白了。2.language这个文件夹属于指令的唯一能用的是W端可以读公告系统也就是点卡系统用公告修改器修改下能发公告这里就不多说了工具都是做好…

    2022年7月24日
  • Python注释以及快捷键「建议收藏」

    Python注释以及快捷键「建议收藏」1、单行注释单行注释是#Mac的快捷键是command+/windows的快捷键是Ctrl+/2、多行注释多行注释是三个单引号'''注释'&#39

    2022年8月2日
  • docker 修改容器时间_docker开放容器端口

    docker 修改容器时间_docker开放容器端口前言用docker搭建的Jenkins环境时间显示和我们本地时间相差8个小时,需修改容器内部的系统时间查看时间查看系统时间date-R进入docker容器内部,查看容器时间dockere

    2022年7月31日
  • centos系统服务优化SHELL脚本

    centos系统服务优化SHELL脚本

    2021年8月16日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号