映射器将值传递给不同的映射器减速器

Question

我有两个阶段的map reduce hadoop程序。（映射器1，还原器1，映射器2，还原器2）。我可以将一些mapper 1键值直接传递给reducer1，将另一些键值直接传递到mapper 2吗？

Answer 1

您可以让映射程序为您希望reducer1处理的那些设置正常的键值，同时让进入mapper2的那些具有一些任意的键名称（让我们在类Text.class中任意地说"to_mapper_2"）。然后，您的reducer代码在if语句中，这样它只在键不是"to_mapper_2"时执行。这将确保您的值不会被reducer处理，并且将通过您使用的任何方法原封不动地到达mapp2。