文章目录
学习笔记：大数据架构详解：从数据获取到深度学习
MPP是什么
- 系统架构层面的服务器分类，如下三类：
SMP- Symmetric Multi-Processor 对称多处理器结构
- 特点
Uniform Memory Access
共享存储：cpu,内存，io - 不足
扩展能力有限
内存总线限制访问内存的效率
NUMA -Non-Uniform Memory Access 非一致存储访问结构
- 特点
拥有多个CPU模块，每个模块由多个CPU组成，有独立的本地内存，io槽口
节点之间通过互联模块进行连接和信息交互:同一台物理服务器内部实现，cpu异地访问时必须等待
较好解决SMP系统的扩展问题 - 不足
互联模块访问效率和本地内存访问不在一个效率层级，系统性能无法和cpu数线性增加
MPP -Massive-Parallel Processing 海量并行处理架构
另一种系统扩展的方式
- 特点
- SMP组合的方式：每台SMP服务器（节点）通过节点互联网络连接。
节点互联网络：MPP内部使用，对用户透明，在不同SMP服务器外部通过IO实现，每个节点只访问本地内存和存储，节点信息交互和节点本身是并行处理的。 - 每个节点只访问本地资源（内存，存储），Share Nothing结构。
- 对等节点：所有数据节点角色一样。可以提升并行计算能力
- 汇总节点：数据汇总节点的稳定性，可用性影响整体的性能
- SMP组合的方式：每台SMP服务器（节点）通过节点互联网络连接。
- 不足
- 复杂的机制来调度和平衡各个节点的负载和并行处理过程。
- 短板效应。
如果一个节点总是执行的慢于集群中其他的节点，整个集群的性能就会受限于这个故障节点的执行速度(所谓木桶的短板效应)，无论集群有多少节点，都不会有所提高。
当MPP系统中某个节点的RAID由于磁盘问题导致的性能很慢，或者硬件或者系统问题带来的CPU性能问题等等，都会产生这样的问题。所有的MPP系统都面临这样的问题。 - MPP集群规模不能过大。
- 并发度不能过高，数据查询汇总节点的并发查询数限制在10+数量级，用户数有限制。
MPP DB
– Share Disk
– Share Nothing
水平扩展灵活，元数据同步、故障恢复问题
典型MPP DB
了解MPP的架构特点，再来看看有代表性的一些产品，是不是有一种大同小异、豁然开朗的感觉。
Greenplum
- 架构
- 大规模存储
Hash分片，表分区：数据到各个Segment Host - 并行处理
- 支持索引
B-Tree
Bitmap
Hash
Teradata
暂无了解,原理细节及使用介绍参考这位仁兄的文章
Impala
Presto
Distributed SQL Query Engine for Big Data
官方文档
- presto目标定位
Presto is a tool designed to efficiently query vast amounts of data using distributed queries. If you work with terabytes or petabytes of data, you are likely using tools that interact with Hadoop and HDFS. Presto was designed as an alternative to tools that query HDFS using pipelines of MapReduce jobs such as Hive or Pig, but Presto is not limited to accessing HDFS. Presto can be and has been extended to operate over different kinds of data sources including traditional relational databases and other data sources such as Cassandra.Presto was designed to handle data warehousing and analytics: data analysis, aggregating large amounts of data and producing reports. These workloads are often classified as Online Analytical Processing (OLAP).
- presto组件
- presto使用
- presto 与 Impala区别
ElasticSearch
es版本变更很快，与java spring体系集成方面，产生了一些第三方组件库，
比较高效的一种方案参考 bboss
Vertica
MPP架构的应用场景
搜索架构
查询服务
client节点，数据汇总节点（协调节点），并行计算节点。
协调节点也是集群中任意同构的计算节点，其性能、稳定性、可用性决定了集群的整体表现。
MPP与Batch的优缺点比较
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/211948.html原文链接：https://javaforall.net
