大数据数据分析架构探究

大数据数据分析架构探究

从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达,甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程,这方面与Data Vault的设计初衷是一致的,试图在2NF和3NF寻找一个合适的数据整合方案。
从信息传播的角度来讲,1NF的方式传播信息是最有效的,但是也是最冗余的,但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式,因为数据增长速度,数据关系的复杂度,与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候,2NF的方式的存储似乎就不太适合,3NF的数据存储方式必然是选择,甚至于更高范式。但范式越高,信息的专业程度越大。解释一下范式越高,信息越专业,比如:我们平常的生活对话大部分都是2NF的,只有大人与刚刚学会说话的小孩会1NF的,因为我们要做大量的解释。当我们去工作的时候,一般你是具有3NF的知识才能,才能与工作的其他人进行沟通,那一篇博士论文呢,那所处的范式那就更高啦。
现阶段数据的存储还是人与机器或者人与人之间的信息记录,用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢,还是3NF的吗?是3NF还好,我们还可以存储与整合加以利用和分析,不是3NF的呢,个人觉得很可能不是,因为机器的设计工作超过3NF,更何况机器与机器交流信息呢。我们如何处理这些信息,然后加以有效利用和分析,值得去深究!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/100976.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • java实现重建二叉树

    java实现重建二叉树题目:输入某二叉树的前序遍历和中序遍历的结果,请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6},则重建二叉树并返回。思路:根据题目给出的前序遍历、后序遍历数组,首先找出根节点然后再根据中序遍历找到左子树和右子树的长度,分别构造出左右子树的前序遍历和中序遍

    2022年6月13日
    26
  • 遗传算法_aforge遗传算法

    遗传算法_aforge遗传算法一、遗传算法简介:遗传算法是进化算法的一部分,是一种通过模拟自然进化过程搜索最优解的方法。二、遗传算法思想:遗传算法组成:1.编码2.适应度函数3.遗传算子:选择、交叉、变异4.运行参数借鉴生物进化论,遗传算法将要解决的问题模拟成一个生物进化的过程,通过复制、交叉、突变等操作产生下一代的解,并逐步淘汰掉适应度函数值低的解,增加适应度函数值高的解。这样进化N代后就很有可能会进化出适应度函数值很高的个体。2.1.编码将问题的解编码称字符串形式才能使用遗传算法。最简单的一种编码是二进制编码,即

    2025年8月27日
    7
  • Retrofit2.0 请求数据 一直出返回网络错误,错误代码 414

    Retrofit2.0 请求数据 一直出返回网络错误,错误代码 414今天使用rettorfit去请求数据一直不成功,请求逻辑上以及请求参数上都没有问题,后台也验证过是通的(我用xutils3请求也是成功的,后来意识到xutils3是将参数放在请求体里面),但是就是一直不能请求成功,后来终于发现还是参数的问题。由于使用的是retrofitPOST请求,查询字段用的是@QueryMap,而这个查询时是直接拼接在url的后面,但是url的请求接口是有长度限制的…

    2022年5月5日
    58
  • Discuz搬家教程[通俗易懂]

    Discuz搬家教程[通俗易懂]第一步:备份网站数据进入后台—站长—数据库—备份,数据备份类型选择“Discuz!和UCenter数据”,备份成功以后,数据自动保存在data文件夹下。第二步:网站文件下载把整个网站文件打包(虚拟主机管理控制面板一般都有整站压缩和解压的功能,在控制面板选择压缩,压缩之后的文件一般在FTPDB文件夹里面,然后把压缩包下载到本地电脑,如果虚拟主机没有在线压缩功能那就直接使用FTP下载文件到本地保存。第三步:整理下载到本地的网站文件1.把下载下来的文件里面的下列文件删除,请完全放心删除掉这几个文件,

    2022年7月25日
    20
  • Linux 配置Node环境变量[通俗易懂]

    Linux 配置Node环境变量[通俗易懂]修改/etc/profile文件,在末尾添加以下内容exportNODE_HOME=/usr/local/node//Node所在路径exportPATH=$NODE_HOME/bin:$PATH修改完成后需要重新登陆才能生效,也可以执行命令source/etc/profile或者./etc/profile来生效(注意。与/etc/profile中有一个空格)查看P…

    2022年5月2日
    965
  • python画qq图_python绘制散点图

    python画qq图_python绘制散点图qq图有两个作用:1、检验一组数据是否服从某一分布。2、检验两个分布是否服从同一分布。qq图全称是quantile-quantileplot,从名称中可以了解到是和分位数相关的图。由于最近在做数据分析时用到了,然而看了一些博客,要么是qq图讲解的比较详尽但是没有使用Python;要么是使用Python语言但是没有讲清楚原理。基于此,想写一篇博客尽量讲清楚原理并且用Python实现出来。qq图原理…

    2022年8月10日
    29

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号