Hadoop的标准映射器和还原器类



是否有Hadoop的标准Mapper和Reducer包或集合?

例如,OpenMP为循环的并行化提供了一组预定义的reducer,这很方便,但不可扩展。类似的一组基本减速器对Hadoop来说会很方便。

当您使用SpringDataHadoop构建SpringBatch应用程序时,这样的集合将非常有用。

如果没有这样的东西,我们可以开始收集。

Kr,R

Hadoop附带了一大组Mapper和Reducer。它们存储在org.apache.hadoop.mapred.lib中,涵盖了各种各样的用例。如果您想查看一个快速列表,这就是mapred.libjavadocs web UI。看看这些是否符合你的需求。

看看这个github项目。我从来没有用过它,但它声称里面有spring和hadoop的东西。

最新更新