学习大数据不可不知的五种大数据框架，码笔记分享大数据框架Hadoop、Storm、Samza、Spark和Flink五种大数据框架详解：
一：Hadoop大数据框架
Hadoop
Hadoop是成为了一个广阔的生态圈的批处理框架，Hadoop提出的Map和Reduce的计算模式简洁而优雅，它实现了大量算法和组件。但是，由于Hadoop的计算任务需要在集群的多个节点上多次读写，因此在速度上会稍显劣势，但是Hadoop的吞吐量也同样是其他框架所不能匹敌的。
二：Storm大数据框架
Storm由Twitter开源并且托管在GitHub上的，Storm大数据框架与Hadoop的批处理模式不同，Storm采用的是流计算框架。但Storm与Hadoop相似之处是也提出了Spout和Bolt两个计算角色。
举个通俗的例子来说明Storm和Hadoop的不同之处，Hadoop类似水桶，而Storm类似水龙头，想要获取水，Hadoop是一桶一桶的去扛回来，而Storm只需要打开水龙头就行了。Storm流计算框架使用的是内存，延迟上具有优势，但是不会持久化数据。
Storm对Java、Ruby、Python等语言都有很好的支持。
三：Samza大数据框架
Samza大数据框架与Storm一样都是流计算框架，Samza必须和Kafka共用，Samza目前只支持JVM语言。
四：Spark大数据框架
Spark和Flink
Spark的运算速度与Storm相似，Spark的速度大约为Hadoop的一百倍，而Spark的成本要比Hadoop低，但是Spark目前还没有Hadoop拥有上万级别的集群，所以现阶段将Spark和Hadoop搭配起来使用是比较不错的方案。
五：Flink大数据框架
Flink大数据框架也是一种混合式的计算框架，Fink与Spark相反的地方在于Fink重点在于处理流式数据，目前Fink还不算成熟。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/227344.html原文链接：https://javaforall.net
