Windows集群上的Spark程序失败,错误CreateProcess error=5,访问被拒绝



我正在尝试在Windows 10笔记本电脑上的Spark v2.0.0群集上执行程序。在端口31080上有一个主节点,在端口32080上有一个从节点。集群使用独立管理器,使用JDK 1.8,从服务器使用自定义工作目录。

当程序通过spark-submit或Eclipse提交时>运行程序,我得到下面的错误,执行器进入一个循环(一个新的执行器被创建,并不断失败)。请指导。

执行器更新:app-20160906203653-0001/0现在正在运行

执行器更新:app-20160906203653-0001/0现在是FAILED (java.io. io)。D:jdk1.8.0_101"binjava"

(目录"D:spark-workapp-20160906203653-0001"):

CreateProcess error=5, Access is denied)

Executor app-20160906203653-0001/0 removed: java.io.IOException: Cannot run program ";D:jdk1.8.0_101"binjava"(在目录

D:spark-workapp-20160906203653-0001"): CreateProcess error=5,

访问被拒绝

请求删除执行器0

找到答案了…我通过windows批处理脚本启动我的主服务器和从服务器。这些调用了一个设置JAVA_HOME, SCALA_HOME和SPARK_HOME的env脚本。路径用双引号括起来。这就是问题所在。删除双引号修复了这个问题…

相关内容

最新更新