无法使用 java 初始化 Spark 上下文

Question

我正在使用 Spark 尝试一个简单的工作计数程序，但当我尝试初始化 Spark 上下文时它失败了。 下面是我的代码

conf = new SparkConf(true).
setAppName("WordCount").
setMaster("spark://192.168.0.104:7077");
sc = new JavaSparkContext(conf);

现在我想澄清的几件事是我正在使用 Spark 版本 2.1.1，我的 java 代码在 Windows 10 上，我的服务器在 VM 盒上运行。 我已经在虚拟机中禁用了防火墙，可以从窗口访问 URL http://192.168.0.104:8080/。

但是我在运行代码时低于堆栈跟踪

17/08/06 18:44:15 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.0.103:4040
17/08/06 18:44:15 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://192.168.0.104:7077...
17/08/06 18:44:15 INFO TransportClientFactory: Successfully created connection to /192.168.0.104:7077 after 41 ms (0 ms spent in bootstraps)
17/08/06 18:44:15 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.0.104:7077
org.apache.spark.SparkException: Exception thrown in awaitResult
at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:77)
at org.apache.spark.rpc.RpcTimeout$$anonfun$1.applyOrElse(RpcTimeout.scala:75)
at scala.runtime.AbstractPartialFunction.apply(AbstractPartialFunction.scala:33)
at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59)
at org.apache.spark.rpc.RpcTimeout$$anonfun$addMessageIfTimeout$1.applyOrElse(RpcTimeout.scala:59)

有人可以帮忙吗？

Answer 1

有点晚了，但对于那些现在遇到这个问题的人来说：这可能是由于用于Spark Core或Spark SQL的maven版本与服务器上使用的Spark版本不兼容。目前，Spark 2.4.4似乎与以下Maven设置兼容：

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.3.4</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.4</version>
</dependency>

可以通过查看 Spark 主节点日志来诊断不兼容问题。他们应该提到一些类似spark local class incompatible stream classdesc serialversionuid

我希望这对某些人来说仍然有用！

Answer 2

您需要将一些 Spark 类导入到程序中。添加以下行：

import org.apache.spark.api.java.JavaSparkContext
import org.apache.spark.api.java.JavaRDD
import org.apache.spark.SparkConf
SparkConf conf = new SparkConf().setAppName("WordCount").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);