我正在尝试在Windows 10笔记本电脑上的Spark v2.0.0群集上执行程序。在端口31080上有一个主节点,在端口32080上有一个从节点。集群使用独立管理器,使用JDK 1.8,从服务器使用自定义工作目录。
当程序通过spark-submit或Eclipse提交时>运行程序,我得到下面的错误,执行器进入一个循环(一个新的执行器被创建,并不断失败)。请指导。
执行器更新:app-20160906203653-0001/0现在正在运行
执行器更新:app-20160906203653-0001/0现在是FAILED (java.io. io)。D:jdk1.8.0_101"binjava"
(目录"D:spark-workapp-20160906203653-0001 "):
CreateProcess error=5, Access is denied)
Executor app-20160906203653-0001/0 removed: java.io.IOException: Cannot run program ";D:jdk1.8.0_101"binjava"(在目录
D:spark-workapp-20160906203653-0001 "): CreateProcess error=5,
访问被拒绝
请求删除执行器0
找到答案了…我通过windows批处理脚本启动我的主服务器和从服务器。这些调用了一个设置JAVA_HOME, SCALA_HOME和SPARK_HOME的env脚本。路径用双引号括起来。这就是问题所在。删除双引号修复了这个问题…