Hadoop mapreduce:当我指定多个化简器时,最终的HDFS结果文件在哪里?



我有一个wordCount.java程序,并对其进行修改以支持多个映射器和化简器,如下所示:

public class WordCount extends Configured implements Tool {
public int run(String[] args) throws Exception {
JobConf conf = new JobConf(getConf(), w1_args.class);
for (int i = 0; i < args.length; ++i) {
if ("-m".equals(args[i])) {
conf.setNumMapTasks(Integer.parseInt(args[++i]));
} else if ("-r".equals(args[i])) {
conf.setNumReduceTasks(Integer.parseInt(args[++i]));
} else {
//
}
...

然后我编译并运行它:

hadoop jar WordCount-1.0-SNAPSHOT.jar WordCount -m 3 -r 15 input output

它运行良好,当我检查输出目录时:

$ hdfs dfs -ls output-18
Found 16 items
output-18/_SUCCESS
output-18/part-00000
output-18/part-00001
output-18/part-00002
output-18/part-00003
output-18/part-00004
output-18/part-00005
output-18/part-00006
output-18/part-00007
output-18/part-00008
output-18/part-00009
output-18/part-00010
output-18/part-00011
output-18/part-00012
output-18/part-00013
output-18/part-00014

好的,正如我所料,15 个减速器应该产生 15 个零件 xxxx。但是合并所有这些减少结果(15 个拆分文件到 1 个文件(的最终结果在哪里?我在这里的hdfs目录中看不到它。 我应该得到我的文件字数统计文件,而不是 15 个文件,对吧?

MapReduce不会将reducer的输出文件合并到单个文件中。我们可以使用以下命令将文件合并到本地机器中或运行另一个mapreduce作业进行合并

Hadoop FS -getmerge/hdfs/output/dir//single/output/file.txt

最新更新