新的Hadoop API中的identityreducer

Question

我花了将近一天的时间，但不知道如何在新的Hadoop API中使用IdentityReducer。我能找到的所有引用或类都使用旧的API。显然，在新的API代码库中混合旧的API idetntitreducer类并不顺利。任何帮助都将不胜感激。

Answer 1

主要是因为在新的API中，Mapper和Reducer是类而不是接口，它们是IdentityMapper/Reducer的新替代品。

所以你只需要使用Mapper.class和Reducer.class来获得身份。

Answer 2

看看：

http://hadoop.apache.org/common/docs/r1.0.0/api/org/apache/hadoop/mapred/lib/IdentityReducer.html

它适用于hadoop稳定版本

Answer 3

Hadoop流式处理-Hadoop 1.0.2

据此，命令为

-x org.apache.hadoop.mapred.lib.IdentityX

其中x分别为映射器或减少器，x分别为映射者或减少器。

我测试了自己并工作。