在Spark Web-UI中重新启动纱线服务器后，如何保留完成的应用程序

Question

我正在使用YARN Resource Manager进行Spark。重新启动纱线服务器后，Spark-Webui中的所有工作都消失了。

以下以下在Yarn-site.xml中添加的两个属性可以解释我可能是原因的，并且是否有任何属性可以控制此。

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>86400</value>
</property>

谢谢。

Answer 1

如果将yarn.resourcemanager.recovery.enabled设置为yarn-site.xml中的CC_1，则可以将应用程序记录持续到重新启动，并设置yarn.resourcemanager.store.class。

有关更多详细信息，请参见ResourceManger重新启动。

您的其他条目是指记录，并定义您希望完成的日志在清理之前保留多长时间。您可以在Yarn-Default.xml中阅读有关它们的更多信息。