MapReduce 多输出输出控制台信息



我在MapReduce中使用了MultopleOutputs来解决一些问题,当它完成时,控制台显示:

    File Input Format Counters 
    Bytes Read=0
    File Output Format Counters 
    Bytes Written=0

我想获取有关读取字节数和写入字节数的真实信息,如何获得真实信息?谢谢!

实际上,完成作业后您在屏幕上看到的是所有Hadoop计数器的列表。

根据多输出手册

多输出支持计数器,默认情况下它们是禁用的

因此,您需要做的就是使用

MultipleOutputs.setCountersEnabled(jobConf, true);

最新更新