Mapreduce作业:没有reducer的合并器

Question

我注意到，如果我将减速器的数量设置为0，则合并器将不起作用。是否可以使用不带减速器的组合机?谢谢。

Answer 1

不，不是。即使使用指定的减速机，也不能保证使用组合器。因此，组合器是严格意义上的优化，可以，但不一定，在reducer之前调用。

Answer 2

组合器的全部目的是"组合"映射器输入的各个部分，以便映射输出在发送到reducer时消耗更少的网络带宽。没有减速机，使用组合机的全部意义就变得没有意义了。因此，不，这是不可能的。