是否可以向 Amazon Elastic MapReduce 工作流添加"合并"步骤?



我指的是Hadoop wiki上提到的Combine步骤。我无法在AWS文档中找到对它的引用,我想利用这一步。

Combiner的文档将在Apache文档中,而不是在AWS文档中。Amazon Elastic MapReduce支持0.18.3和0.20.2版本的Hadoop,并提供自定义补丁。Apache MR教程参考了如何使用组合函数。调用Job.setCombinerClass()来设置组合器类

最新更新