我们可以在Hadoop的MultipleInput类中传递不同类型的输入格式文件吗?

Question

我们可以在Hadoop的MultipleInput中传递不同类型的输入格式文件，即TextInputFormat和SequenceInputFormat吗?

和下面一样:

MultipleInputs.addInputPath (jobConf新路径(dictionarySource), SomeInputFormat . class,TranslateMapper.class);

MultipleInputs.addInputPath (jobConf新路径(dictionarySource), SomeOtherInputFormat . class,TranslateMapper.class);

Answer 1

简而言之，是的，该参数是InputFormat的任何扩展

Class<? extends InputFormat> inputFormatClass

对于"如何在Reducer中处理这个问题?"- reducer的输入必须与mapper的输出相同，可以是任何你想要的