大数据数据分析架构探究

大数据数据分析架构探究

从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100976.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 乘用车黑客手册(译)

    乘用车黑客手册(译)原书地址:http://opengarages.org/handbook/(部分与技术无关部分没有翻译)(本人萌新一只,有翻译的不准确的请各位前辈指教。)理解攻击面:如果你有软件渗透测试的经验

    2022年7月2日
    25
  • 【kubernetes集群系列(二)】Worker(node)安装(使用kubeadm)

    【kubernetes集群系列(二)】Worker(node)安装(使用kubeadm)

    2021年5月13日
    143
  • Idea激活码最新教程2023.2.3版本,永久有效激活码,亲测可用,记得收藏

    Idea激活码最新教程2023.2.3版本,永久有效激活码,亲测可用,记得收藏Idea 激活码教程永久有效 2023 2 3 激活码教程 Windows 版永久激活 持续更新 Idea 激活码 2023 2 3 成功激活

    2025年5月27日
    3
  • 一维卷积神经网络案例_matlab 卷积神经网络

    一维卷积神经网络案例_matlab 卷积神经网络基于一维卷积神经网络对机械振动信号进行分类并加以预测*使用一维卷积神经网络训练振动信号进行二分类2020年7月16日,一学期没等到开学,然而又放假了。总览CSDN中大多数卷积神经网络都是对二维图片进行分类的,而图片也都是常见的猫狗分类,minst手写数字分类。一维卷积神经网络的使用非常少见,有也是IDMB情感分类,和鸢尾花分类的。作者研究生就读于河北一所双飞,全国排名270多,哈哈哈,不吹不黑。在网上翻来翻去找不到一篇可以利用的代码去研究我的机械故障诊断,后来在无奈下到某宝搜寻到一段代码,可以利用

    2022年9月22日
    3
  • java学习路线图(2018年最新版)

    java学习路线图(2018年最新版)java学习路线图(2018年最新版)最近有些网友问我如何自学Java后端,还有些是想从别的方向想转过来,但都不太了解Java后端究竟需要学什么,究竟要从哪里学起,哪些是主流的Java后端技术等等,导致想学,但又很迷茫,不知从何下手。我就以过来人的经历,写在这篇博客里,不一定都对,但都是我根据自己的经历总结出来的,供你们的参考。Java基础Java是一门纯粹的面向对象的编程语言,所…

    2022年5月13日
    46
  • RNN详解、BPTT、LSTM

    RNN详解、BPTT、LSTM本文部分参考和摘录了以下文…

    2022年6月23日
    25

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号