何时在MapReduce作业执行中分配化简器的数量/节点



在阅读有关MapReduce的信息时,我读到了以下有趣的行:

"但是Reducer如何知道要查询哪些节点来获取它们的节点。 分区?这通过应用程序主节点发生。作为每个 映射器实例完成,它会通知应用程序主 它在运行过程中产生的分区。每个减速器 定期查询映射器主机的应用程序主数据,直到它 已收到托管其分区的节点的最终列表。

我在这里有一个疑问。当他们说每个减速器时,它到底是什么意思?化简器是否会在映射阶段开始之前分配,以及如何选择化简器节点?

化简器可以在地图完成数据处理之前启动。一旦他们开始,他们就可以从映射器机器中提取数据,但只有在所有映射器完成数据处理后,他们才会开始处理。

mapred.reduce.slowstart.complete.maps 是配置此行为的属性。有关该物业的更多信息,请点击此处。

最新更新