关于在HadoopMapReduce作业中调试辅助排序问题的任何提示



我相信(相信?)我了解二次排序在Hadoop中的工作原理。我创建了一个由4个字段组成的中间键。我按第一个字段进行分区,按第一个和第二个字段分组,并按全部4进行排序。

看起来我已经确定了分组和分区,但值进入reducer的顺序不正确。

关于如何进行调试,有什么想法吗?

目前,手动或使用工具进行静态代码审查似乎效果良好。我相信我违反了规则:当覆盖compareTo()时,不要忘记覆盖equals()hashCode()。如果解决了这个问题,我会随时通知大家。

相关内容

  • 没有找到相关文章

最新更新