如何在Hadoop中设置reducer输出名称

Question

我有一个作业将发出900000个不同的输出。每一个都必须用一个特定的唯一名称来识别。。。这就是我在mapOutputKey上的"名称"。如何在map reduce中做到这一点？

Answer 1

您可以使用MultipleOutputs，在文档中您会发现几乎完全符合您需要的示例，您只需要将generateFileName函数替换为以下函数：

String generateFileName(K k, V v) {
  return k.toString();
}