在Hadoopmapreduce中，所有映射程序都需要与所有reducer进行通信

Question

在mapreduce中，我知道映射器之间不会通信。但是，是否所有映射器都需要与所有减速器进行通信。？

Answer 1

它取决于映射器生成的键集。如果它不生成任何需要由特定reducer处理的密钥，那么它可能根本不需要与该reducer通信。但映射器生成的密钥通常取决于其输入，并且输入可能因作业而异，因此对于某些作业，每个映射器都可能（甚至可能）需要向每个reducer发送数据。