我正在使用PySpark(独立的，没有hadoop等(，并在下面调用我的PySpark作业，它运行良好：
PYSPARK_PYTHON=python3 JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/jre" SPARK_HOME=~/.local/lib/python3.6/site-packages/pyspark spark-submit job.py --master local
历史服务器正在运行，但我正在尝试配置Spark历史服务器以读取正确的目录。我配置的设置在/pyspark/conf/spark-env.sh:中
....
SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.eventLog.enabled=true -Dspark.eventLog.dir=/home/Documents/Junk/logs/ -Dspark.history.fs.logDirectory=/home/Documents/Junk/logs"
....
但是当我运行作业时，这个目录是空的(日志没有写入这个目录(
我是否正确指定了目录地址？(这些是我文件系统中的本地地址(
要使其工作，请执行以下操作。不要使用spark-env.sh，而是使用以下内容编辑conf/spark-defaults.conf文件，请注意该文件：//前缀。
spark.eventLog.enabled true
spark.eventLog.dir file:///home/user/.local/lib/python3.6/site-packages/pyspark/logs
spark.history.fs.logDirectory file:///home/user/.local/lib/python3.6/site-packages/pyspark/logs