Spark作业已终止:/tmp/Spark-driver.log不存在



我正在Cloudera Data Science Workbench中运行Spark作业。有时它运行正常,但有时会出现以下错误而失败:

log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: /tmp/spark-driver.log (Permission denied) at java.io.FileOutputStream.open0(Native Method) at java.io.FileOutputStream.open(FileOutputStream.java:270) at java.io.FileOutputStream.<init>(FileOutputStream.java:213) at java.io.FileOutputStream.<init>(FileOutputStream.java:133) at org.apache.log4j.FileAppender.setFile(FileAppender.java:294) at org.apache.log4j.FileAppender.activateOptions(FileAppender.java:165)

检查后,文件存在: cdsw@jw4l5ll7jj0l3bcy:~$ ls /tmp/spark-driver.log /tmp/spark-driver.log

我已经查看了Spark UI日志,找不到任何其他错误。这是我们发现的唯一错误。已经迫切需要答案了。任何线索都将不胜感激。

谢谢!

错误堆栈跟踪声明您机器上/tmp目录的权限问题。你可以参考迈克尔N的以下答案。我希望它能解决你的问题。

最新更新