如何解决 YARN 日志中的日志聚合未完成或未启用错误

Question

我正在使用 EMR 5.4，我向 Yarn 提交火花作业

当我尝试使用yarn logs -applicationId application_1528461193301_0001检索日志时，出现以下错误：

18/06/08 12:38:01 INFO client.RMProxy: Connecting to ResourceManager at ip-10-0-182-144.eu-west-1.compute.internal/10.0.182.144:8032
s3://xxx/apps/root/logs/application_1528461193301_0001 does not exist.
Log aggregation has not completed or is not enabled.  

这是我的配置/etc/hadoop/conf/yarn-site.xml

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<description>Where to store container logs.</description>
<name>yarn.nodemanager.log-dirs</name>
<value>s3://xxx/containers</value>
</property>
<property>
<description>Where to aggregate logs to.</description>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>s3://xxx/apps</value>
</property>

Answer 1

根据文档，如果日志聚合到 s3，则无法使用 yarn 日志实用程序

https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-plan-debugging.html

注意

您当前无法通过纱线将日志聚合用于 Amazon S3 日志实用程序。

您可以使用 AWS 实用程序下载日志文件

aws s3 cp s3://xxx/apps/[applicationId] /your/folder --recursive