Yarn时间轴服务器日志聚合

Question

配置hadoop 2.7.1以保留更长的纱线作业

已启用日志聚合和作业历史/时间轴服务器，当作业在资源管理器中完成时，它确实会显示在作业历史服务器中（如果您提供了正确的url），但是作业历史服务器只列出M/R作业，而不是纱线应用程序

问题是该作业在时间轴服务器中不可见，事实上，时间轴服务器中没有显示作业

当前yarn-site.xml配置：

<property>
    <name>yarn.timeline-service.hostname</name>
    <value>host1</value>
</property>
<property>
    <name>yarn.timeline-service.address</name>
    <value>${yarn.timeline-service.hostname}:10200</value>
</property>
<property>
    <name>yarn.timeline-service.webapp.address</name>
    <value>${yarn.timeline-service.hostname}:8188</value>
</property>
<property>
    <name>yarn.timeline-service.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.timeline-service.generic-application-history.enabled</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log.server.url</name>
    <value>http://${yarn.timeline-service.hostname}:19888/jobhistory/logs/</value>
</property>
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/var/vm/apps/hadoop/logs</value>
</property>
<property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/var/vm/apps/hadoop/logs</value>
</property>

在使用作业历史服务器和时间轴服务器时，我是否提供了冲突的配置？

在一天结束时，我希望将纱线日志保存到hdfs中，以便在接下来的几天/几周内在web ui中查看

Answer 1

您需要在mapred-site.xml 中将mapreduce.job.emit-timeline-data属性设置为true

这将使mapreduce作业能够将事件推送到时间轴服务器。