纱线模式下的火花历史记录服务器



有人可以帮助理解两者之间的明显区别吗spark.eventLog.dirspark.history.fs.logDirectory

另外,请将这些属性与yarn.nodemanager.remote-app-log-dirmapreduce.jobhistory.done-dir相关联

请不要将文档粘贴为响应:)

我已经通过下面的链接,但无法理解。 spark.eventLog.dir和spark.history.fs.logDirectory有什么区别?

正如链接的帖子所说,

spark.eventLog.dir是在 Spark 历史记录服务器读取日志事件时写入日志spark.history.fs.logDirectory

在某些情况下,这些可能会有所不同 - 例如,某些外部定期作业可能会将主动写入的文件移动到历史记录位置

Spark日志目录应与YARN和MapReduce历史服务器分开

相关内容

  • 没有找到相关文章

最新更新