hadoop在哪里存储mapper、partitioner和combiner的输出文件

Question

我正在伪分布式hadoop设置上运行mapreduce作业。在哪里可以找到mapper、partitioner和combiner的输出文件？是否有方法检查每个操作的输出？

Answer 1

MapReduce中的中间输出存储在运行任务的节点上的本地临时存储中（而不是HDFS中）。

您可以在Hadoop conf中查找本地临时目录，然后逐节点手动检查它们。

一般来说，通过日志消息或计数器，可能有更好的方法来做你认为想做的事情。你可以做的另一件事是关闭减速器，这样你的映射器就可以直接写入HDFS，这样你就可以检查它了。