无法查看 yarn-resource-manager 的日志

Question

我尝试了各种命令，但在查看 yarn 日志时仍然遇到问题，以下是我查看日志的步骤

[root@iop-rm1 /]# yarn application -list
17/04/03 13:15:21 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):1
            Application-Id      Application-Name        Application-Type          User       Queue               State         Final-State         Progress                        Tracking-URL
  application_1491225022815_0002      paxi                 SPARK                 paxata     default              ACCEPTED         UNDEFINED              0%                                 N/A

当我查看纱线日志时，它显示为

[root@iop-rm1 /]# yarn logs -applicationId application_1491222823231_0001
17/04/03 12:48:57 INFO client.RMProxy: Connecting to ResourceManager at iop-rm1.qatc/172.18.0.4:8032
/tmp/logs/root/logs/application_1491222823231_0001 does not exist.
Log aggregation has not completed or is not enabled.

我还在core-site.xml文件中启用了日志聚合

<name>yarn.log-aggregation-enable</name>
<value>true</value>

我为不存在的日志

创建了路径，但我无法看到纱线日志

有没有可能的方法查看纱线日志？

Answer 1

您无法查看尚未FINISHED的 YARN 应用程序的聚合日志。

从yarn.log-aggregation-enable属性的描述：

日志

聚合收集每个容器的日志并移动这些日志 到yarn.nodemanager.remote-app-log-dir中配置的目录 只有在申请完成后。

您可以尝试相同的命令yarn logs -applicationId <application ID>在应用程序完成后查看日志。

要在RUNNING作业时查看日志，请使用资源管理器 Web 界面。它将在 http://ResourceManager_IP_Address:8088/ 中提供。

PS：您应该在yarn-site.xml中添加日志聚合的属性。

Answer 2

也许您忘记重新启动集群以使日志聚合启用。