如何降低mapreduce作业的运行速度

Question

我有一个地图减少工作。我用了

job.setNumReduceTasks(0);

来控制其速度。还有其他方法可以减缓工作的速度吗?我们担心作业运行太快会影响我们的数据库。

Answer 1

您可以利用yarn中支持的队列。例如，您可以创建一个对内存和cpu内核具有适当限制的队列，然后设置作业配置以使用该队列启动map reduce作业。我建议您阅读以下关于fair scheduler的文档。

对于您当前设置numReducers = 0的解决方案，我认为这可能不是限制计算的最佳方法。