在所有地图任务完成后开始执行归约任务

Question

例如，用于排序示例。 它 文档是：

d1 a b c d -> M1

d2 c f k -> M2

d3 c f f -> M3

d4 a b d d -> M4每个文档都转到一个映射任务，然后如果（让我们只谈论"a"）M1 2 和 3 首先完成并减少开始，它将不知道 d4 的 a。

那会发生什么呢？M4何时完成？

Answer 1

化简器进程（通常）将在映射器完成之前启动，但在所有映射器完成并将中间记录发送到化简器之前，实际的reduce()调用不会发生。