Map Reduce是真正的分而治之吗?有些人只是简单地答应,另一些人则拒绝,这是一种流水线操作。
您对以下内容有何看法:
它们密切相关,但其中一种可能是另一种的特殊情况:
Map Reduce包含一个Reduce过程,这在Divide and Conquest中不是强制性的我们可以说Map Reduce是Divide and Conquest的一个特例,它涉及到一个Reduce阶段。其他没有什么可减少的"分而治之"问题(例如二进制搜索)是一个Map reduce,它有一个伪/琐碎的减少过程。
我认为不应该以这种方式理解它。是的,Mar Reduce更多的是关于分离和聚集。可以编写一个map reduce程序,该程序只运行一个mapper,它直接输出到hdfs,而不需要Reducer。此外,映射器的数量取决于数据的大小,而不是数据本身。默认情况下,它每64MB(大约)有一个映射器,但可以设置为更大的数量,从而消除任何数据分割问题。
这本书非常好地讨论了Map Reduce的历史,并建议更好地理解它。