有人可以帮助理解两者之间的明显区别吗spark.eventLog.dir
和spark.history.fs.logDirectory
?
另外,请将这些属性与yarn.nodemanager.remote-app-log-dir
和mapreduce.jobhistory.done-dir
相关联
请不要将文档粘贴为响应:)
我已经通过下面的链接,但无法理解。 spark.eventLog.dir和spark.history.fs.logDirectory有什么区别?
正如链接的帖子所说,
spark.eventLog.dir
是在 Spark 历史记录服务器读取日志事件时写入日志spark.history.fs.logDirectory
。
在某些情况下,这些可能会有所不同 - 例如,某些外部定期作业可能会将主动写入的文件移动到历史记录位置
Spark日志目录应与YARN和MapReduce历史服务器分开