Spark - 本地独立模式不会写入历史记录服务器



我正在尝试在Mac上以单机模式启用Spark历史记录服务器。我有一个火花大师服务正在运行,并且能够运行作业。我还在本地主机上运行了一个历史记录服务器服务。我可以在浏览器中查看它,但上面没有任何应用程序的记录。我只能假设我错过了一些我不知道的配置。任何人都可以建议如何配置历史记录服务器以与本地独立 Spark 一起使用吗?

这是我的配置:

# spark.master spark://master:7077 
spark.eventLog.enabled true 
# spark.eventLog.dir hdfs://namenode:8021/directory 
# spark.serializer org.apache.spark.serializer.KryoSerializer 
# spark.driver.memory 5g 
# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

目录火花事件拼写错误。我有火花事件。重命名后,我能够查看作业日志。

最新更新