我相信(相信?)我了解二次排序在Hadoop中的工作原理。我创建了一个由4个字段组成的中间键。我按第一个字段进行分区,按第一个和第二个字段分组,并按全部4进行排序。
看起来我已经确定了分组和分区,但值进入reducer的顺序不正确。
关于如何进行调试,有什么想法吗?
目前,手动或使用工具进行静态代码审查似乎效果良好。我相信我违反了规则:当覆盖compareTo()
时,不要忘记覆盖equals()
和hashCode()
。如果解决了这个问题,我会随时通知大家。