HDP 2.3沙箱mapreduce日志

Question

我的mapreduce程序中有System.out.printlns；MR运行成功，但我在任何地方都看不到日志。我试过使用"yarn log -applicationId ..."，但仍然看不到日志。

是否需要任何特殊设置来启用日志？如果没有，日志文件的位置是什么？

Answer 1

端口8088显示集群上的所有MR作业。单击MR作业，然后单击跟踪历史记录。

Answer 2

如果您配置了日志聚合，那么您将在HDFS上的/tmp/logs中找到日志。这个hdfs目录是使用属性yarn.nodemanager.remote-app-log-dir设置的（默认为/tmp/logs）。

因此，您应该能够使用以下命令在名称节点上查看用户的应用程序日志目录：

hdfs dfs -ls /tmp/logs

Answer 3

当您在前几行运行作业时，它将为您提供一个跟踪作业的链接。您可以在浏览器中粘贴该链接，并在任务级别日志中导航以查看详细信息。

在map reduce中使用System.out.println不是一种好的做法。