是否有Hadoop的标准Mapper和Reducer包或集合?
例如,OpenMP为循环的并行化提供了一组预定义的reducer,这很方便,但不可扩展。类似的一组基本减速器对Hadoop来说会很方便。
当您使用SpringDataHadoop构建SpringBatch应用程序时,这样的集合将非常有用。
如果没有这样的东西,我们可以开始收集。
Kr,R
Hadoop附带了一大组Mapper和Reducer。它们存储在org.apache.hadoop.mapred.lib
中,涵盖了各种各样的用例。如果您想查看一个快速列表,这就是mapred.lib
javadocs web UI。看看这些是否符合你的需求。
看看这个github项目。我从来没有用过它,但它声称里面有spring和hadoop的东西。