我想写一个映射端联接,并希望包含一个reducer代码。我有一个较小的数据集,我将作为分布式缓存发送。
我可以用reducer代码编写地图侧连接吗?
是的!!为什么不呢?看,reducer是用来聚合从映射中发出的键值的。因此,每当你想根据你在代码中设置的某些标准或根据问题陈述聚合结果(比如你想计数或找到平均值或任何数字摘要)时,你的代码中总是可以有一个reducer。Map只是用于过滤数据,并从大量数据中发出一些有用的键值对。当其中一个数据集足够小,可以容纳商品机器的内存时,只需要映射端连接。顺便说一句,减少侧边连接也符合您的目的!!