一、什么是大数据
二、大数据的处理流程
三、什么是大数据框架
四、批处理系统
批处理：将作业按照其性质分组（分批），再以组为基本单位提交给计算机系统处理，由计算机自动完成后再输出结果。这种采用批量处理作业技术的操作系统称为批处理操作系统。
五、混合处理系统：批处理和流处理
六、大数据框架的发展
1、萌芽阶段 （20世纪90年代至21世纪初）
1997年，美国国家航空航天局武器研究中心的大卫·埃尔斯沃思和迈克尔·考克斯在他们研究数据可视化中首次使用了“大数据”的概念。1998年《Science》杂志发表了一篇题为《大数据科学的可视化》的文字，大数据作为一个专有名词正式出现在公共期刊上。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵。
2、发展阶段 （21世纪初至2010年）
在这一阶段中大数据逐渐为学术界的研究者所关注，其相关的定义、内涵、特性也得到了进一步的丰富。2001年，美国Gartner公司率先开发了大型数据模型。同年，DougLenny提出了大数据的3V模型。2005年，Hadoop技术应运而生，成为数据分析的主要技术。2007年，数据密集型科学出现。2008年，《Science》杂志推出了一系列大数据专刊，详细讨论了一系列大数据的问题。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。
3、成熟阶段 （2011年至今）
2011年，通用商用机械公司开发了沃森超级计算机，通过每秒扫描和分析4TB数据打破了世界纪录，大数据计算达到了一个新的高度。不久，MGI发布了《大数据前沿报告》，详细介绍了大数据在各个领域的应用，以及大数据的技术框架。2012年，瑞士举行了世界经济论坛，其中讨论了一系列与大数据有关的问题，并发表了《大数据，大影响》的报告。
在这大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为重要战略。学术界及企业界纷纷开始将大数据研究由学术领域向应用领域扩展，大数据技术开始向商业、科技、医疗、政府、教育、经济、交通、物流及社会的各个领域渗透。
4、国内外现状
我国政府、学术研究、产业界都高度重视大数据的研究和应用工作，纷纷制定相关发展计划。在政府方面，2014年大数据首次写入政府工作报告，2015年发布《促进大数据发展行动纲要》，2016年首次将国家大数据战略作为“十三五”十四大战略之一写进五年规划中，2017年正式发布《大数据产业发展规划（2016-2020年）》，一步步将大数据推向重要位置；在学术研究方面，大数据研究机构、大数据学术组织纷纷成立，大数据相关的学术活动也相继举行；在产业层面，随着各级政府和企业大力推进，目前我国的大数据产业处于高速发展阶段。
而在国外，大数据所蕴含的战略价值已经引起了多数发达国家政府的重视，各国相继出台大数据战略规划和配套法规促进大数据应用和发展。如日本在2013年公布了新的IT战略——《创建最尖端IT国家宣言》，其中全面阐述了2013-2020期间以发展开放公共数据和大数据为核心的日本新IT国家战略。
七、大数据框架未来趋势
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/222715.html原文链接：https://javaforall.net
