Hadoop流api -限制每个作业的映射器数量

Question

我有一个作业运行在一个小型hadoop集群上，我想限制每个datanode生成的映射器的数量。当我使用-Dmapred.map。任务=12，但出于某种原因，它仍然会生成17个映射器。我已经找到了一种方法来限制全局，但我想在每个工作的基础上做。

Answer 1

在Map Reduce中，生成的映射器总数取决于从您的数据创建的输入分割。

每个输入分割将产生一个映射器任务。因此，在Map Reduce中不能减少映射器的计数。