限制映射减少作业以使用更少的资源

Question

我使用的是Hadoop 2.5.0-cdh5.3.3。我创建了一个map reduce作业，导致了大量的map作业。因此，它正在消耗所有的资源。如何防止它只使用有限的资源？

Answer 1

您可以将块大小64mb增加到更高的配置，或您可以设置一个名为"mapred.map.tasks"的参数来限制每个节点的映射任务数。

注意：这将影响性能，因为更多的块将被分配给任务跟踪器节点。