没有得到聚合值从我的减速器

Question

我编写了map reduce程序，根据"key"查找top words。我使用HashMap来收集reducer的输出，并做了一些比较来获得最热门的单词，最后我使用cleanup()方法来打印我的输出。但是当我看到结果时，它没有向我显示键中的聚合值。

这是我的减速机代码。

所以，请帮助我在这个我试图得到这个正确的，因为从过去的几天。

public class top5reduce extends Reducer<IntWritable,Text,IntWritable,Text>
{
    Map<Integer,Text> map=new HashMap<Integer,Text>();
        public void reduce(Iterable<IntWritable> key,Text value,Context context) throws IOException, InterruptedException,NullPointerException
    {
        int sum1=0;
for(IntWritable key2:key)
        {
            sum1 +=key2.get();
        }   
map.put(sum1,value);

    } 
protected void cleanup(Context context)
{
    int key=0;
    Text val=null;
Map<Integer,Text> map1=new TreeMap<Integer,Text>(new Comparator<Integer>()
        {
    public int compare(Integer o1,Integer o2)
    {
        return o2.compareTo(o1);
    }
        });
        map1.putAll(map);
        Set<Map.Entry<Integer,Text>> set=map1.entrySet();
        for(Map.Entry<Integer,Text> entr:set)
        {
            key=entr.getKey();
            val=entr.getValue();
        }
        try {
            context.write(new IntWritable(key), val);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
}
}

Answer 1

我觉得你的reduce函数有问题。当您尝试对每个键进行聚合时，您必须遍历所有值并添加它们。试试下面的代码，看看它是否有效。

 public void reduce(IntWritable key,Iterable<IntWritable> value,Context context) throws IOException, InterruptedException,NullPointerException
        {
            int sum1=0;
    for(IntWritable key2:value)
            {
                sum1 +=key2.get();
            }   
    map.put(key,sum1);

        }