我可以运行我的Java源代码只有mapper类(源代码没有Reducer类)在Hadoop上

Question

我在源代码中只创建了mapper class .

import ...
class mainClass {
class myMapper extends Mapper<Input and Output Pairs> {
      //body of mapper
    }
} // end of mainClass

Answer 1

可以。你有两个选项:-

如果你设置0为reducer，那么你的作业将只调用map。但是，您的映射输出将不会排序。

如果你需要排序你的地图阶段的输出，你可以不需要聚合，你可以去身份减速器