Hadoop Map/Reduce Mapper 'map'方法和日志

Question

我最近被要求研究加速mapreduce项目。我正在尝试查看log4j日志信息，该信息是在实现org.apache.hadoop.mapred.Mapper 的类的"map"方法中生成的

在这个类中有以下方法：

@Override
public void configure( .. ) { .. }
public static void doCompileAndAdd( .. ) { .. }
public void map( .. ) { .. }

记录信息可用于configure方法和doCompileAndAdd方法（从configure方法调用）；但是，没有显示"map"方法的日志信息。

我也尝试过在map方法中简单地使用System.out.println( .. )，但没有成功。

有谁能帮助我们了解这个问题吗？

谢谢，Telax

Answer 1

由于映射器类实际上在分布在集群中节点的任务中运行，因此这些任务的stdout显示在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的作业跟踪器页面，通常位于http://namenode:50030/jobtracker.jsp。从那里，您可以选择作业，然后选择您对日志感兴趣的映射任务。