在具有"X"映射器和"Y"化简器的大型MapReduce作业中,在排序/洗牌阶段将有多少不同的复制操作



据我所知,将有X+Y复制操作,如果我的错误,请纠正我

感谢

在最坏的情况下,每个reducer都可能从所有映射器中获取记录,假设其键在所有可用的映射器中。在最坏的情况下,这将为一个减速器提供X个副本。这将导致XY操作,而不是X+Y。

相关内容

  • 没有找到相关文章

最新更新