大家好，又见面了，我是全栈君。
人们对于Mapreduce程序刚開始时都觉得仅仅须要一个reduce就够了。
毕竟，在你处理数据之前一个reducer已经把数据都分好类了，有谁不喜欢分好类的数据呢。
可是这样我们就忽略了并行计算的优势。
假设仅仅有一个reducer。我们的云计算就退化成了一个小雨点。
在多个reducer的情况下，我们须要某种机制来控制mapper的结果的分配问题。这是就Partitioner的工作了。
在默认情况下。hadoop通过比較key的hash值来分配，默认使用HashPartitioner。有时默认的功能不能满足我们的要求，比方我们曾经自己定义的Edge类（http://blog.csdn.net/on_way_/article/details/8589187）。当我们想要知道每一个机场乘客起飞的数量时。我们有例如以下数据
(北京。 上海) 张三
(北京。 青岛) 李四。
。。。。。
。
假设我们用HashPartitioner来分配，那么这两行就会被送往不同的reducer上，机场起飞的数量就会被算两次，并且每次都是错误的。
我们须要为我们的应用程序定制一个partitioner。
- import org.apache.hadoop.io.Writable;
- import org.apache.hadoop.mapred.JobConf;
- import org.apache.hadoop.mapred.Partitioner;
- public class EdgePartitioner implements Partitioner<Edge, Writable>{
- @Override
- public void configure(JobConf job) {
- // TODO Auto-generated method stub
- }
- @Override
- public int getPartition(Edge key, Writable value, int numPartitions) {
- // TODO Auto-generated method stub
- return key.getDepartureNode().hashCode() % numPartitions;
- }
- }
以下的这张图给出了Partitioner的详细解释
在map和reduce两个阶段之间。一个MapReduce程序必须把mapper的输出分配到多个reducer上。这个过程叫做shuffling。由于一个mapper的输出结果有可能被分配到集群中的多个节点中去。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/116562.html原文链接：https://javaforall.net
