Scala IDE调用Spark但是Executor没有启动

Question

我有Scala IDE问题。

下面的代码

val conf = new SparkConf().setAppName("xxx").setMaster("local[*]")

在Scala IDE中运行很好，但是

val conf = new SparkConf().setAppName("xxx").setMaster("spark://ipOfMyPC:7077")

不能工作。错误信息是

警告TaskSchedulerImpl:初始作业未接受任何资源;检查您的集群UI以确保worker已注册并且有足够的内存

我已经检查了Spark-Shell, Spark-Shell Web UI使用端口4040并且工作良好。这就是我发现Executor没有启动的原因。

Scala IDE服务SparkUI自动使用端口4041，我发现Executor没有启动，只有驱动程序存在。我已经尝试了下面的代码，但不工作

val conf = new SparkConf().setAppName("xxx").set("spark.executor.instances", "2").set("spark.executor.memory", "1g").setMaster("spark://ipOfMyPC:7077")

如何在Scala IDE中解决这个问题?

我的平台是windows 8.1，防火墙被禁用。非常感谢。

Answer 1

进入spark UI: yourip:8080

查找主url的链接，如:spark://xyz:7077

使用这个作为主url。

使用start-all.sh命令启动所有节点

Answer 2

尽管Scala IDE服务SparkUI自动使用端口4041而不是4040。在停止Spark-Shell(端口4040)后，Scala IDE作业可以成功运行。