大数据数据分析架构探究

大数据数据分析架构探究

从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100976.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • labelImg使用教程

    labelImg使用教程Anaconda环境安装Anaconda之后,在开始菜单下找到Anaconda文件夹找到AnacondaPrompt点击运行安装labelImgpipinstalllabelImg#直接命令行输入启动labelImglabelImg#直接命令行输入名称即可labelImg界面开始标注快捷键:W(创建方框),A(上一张),D(下一张)XML文件示例<annotation> <folder>夜读</folder>

    2022年6月29日
    28
  • vue项目封装组件_前端组件封装

    vue项目封装组件_前端组件封装前言在使用vue进行日常开发的时候,组件的封装是一个很常规的操作,也可以从npm仓库下载别人封装好的组件来使用,比如iview,elementui等…但每个项目的应用场景不同,所以我们有时也需要自己封装组件。而如果在开发中换了项目,那么就只能复制代码过去,略显麻烦,这个时候呢,可以将封装好的组件上传到npm仓库,需要使用时就可以直接通过npm指令下载,非常方便。1.环境准备因为我们封装的是Vue组件,所以直接在脚手架中封装即可。//创建项目因为我们只需封装组件所以RouterSt

    2022年9月23日
    0
  • 如何用开源组件“攒”出一个大数据建模平台?

    如何用开源组件“攒”出一个大数据建模平台?本文关键字:开源组件、大数据建模、项目架构、技术栈。整个产品的核心功能就是为了实现:数据采集、数据源管理、数据清洗、统计分析、机器学习、数据可视化的完整流程,难点在于形成数据流,流程可控,易被管理。

    2022年4月27日
    63
  • Matlab保存图像的5种方法「建议收藏」

    Matlab保存图像的5种方法「建议收藏」此博客转自:https://blog.csdn.net/holybin/article/details/39502077,另外我补充了一些实验结果。1、使用imwrite函数如图像是img,则可以使用imwrite(img,’result.jpg’);这种方法保存图像大小和显示的大小是一样的。下面的方法得到的图像和原图像的大小不一样;下面是用该方法保存的图片我们注意到,用imwrite保存的图…

    2022年9月13日
    0
  • TCP/IP 协议详解内容总结「建议收藏」

    TCP/IP 协议详解内容总结「建议收藏」TCP/IP 协议详解内容总结

    2022年4月24日
    42
  • 递归和迭代有什么区别?

    递归和迭代有什么区别?“递归”和“迭代”的区别如下:1、递归的基本概念:程序调用自身的编程技巧称为递归,是函数自己调用自己.一个函数在其定义中直接或间接调用自身的一种方法,它通常把一个大型的复杂的问题转化为一个与原问题相似的规模较小的问题来解决,可以极大的减少代码量.递归的能力在于用有限的语句来定义对象的无限集合。2、迭代:利用变量的原值推算出变量的一个新值.如果递归是自己调用自己的话,迭代就是A不停的调用…

    2022年6月6日
    34

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号