为什么提交作业会失败并显示"NoSuchMethodError: scala.runtime.VolatileObjectRef.zero()Lscala/runtime/VolatileObject

Question

我正在尝试提交一个火花作业

它以这种方式开始：

import javax.xml.parsers.{SAXParser, SAXParserFactory}
import org.apache.spark
import org.apache.spark.graphx.{Graph, Edge, VertexId}
import org.apache.spark.rdd.{PairRDDFunctions, RDD}
import org.apache.spark.storage.StorageLevel
import org.apache.spark.{SparkContext, SparkConf}
import scala.util.Try
import org.apache.log4j.{Level, Logger}

object MyApp {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("MyApp")
    val sc = new SparkContext(sparkConf)

当我启动它时，出现以下错误：

App > Exception in thread "main" java.lang.NoSuchMethodError: scala.runtime.VolatileObjectRef.zero()Lscala/runtime/VolatileObjectRef;
App > at MyApp$.main(MyApp.scala)
App > at MyApp.main(MyApp.scala)
App > at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
App > at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
App > at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
App > at java.lang.reflect.Method.invoke(Method.java:606)
App > at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
App > at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
App > at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我做错了什么？

编辑：包括全栈跟踪。使用 Scala 2.10 和 Spark 1.2.0。奇怪的是，在我的罐子里，我有两个班级。当我 Spark 提交一个时，它可以工作（这是一个 4 行的虚拟作业），但是当我运行更长的（大约 40 行）时，如果失败并出现上述错误

Answer 1

scala.runtime.VolatileObjectRef 上的zero()已在 Scala 2.11 中引入你可能有一个针对 Scala 2.11 编译并在 Scala 2.10 运行时上运行的库。

看

• v2.10： https://github.com/scala/scala/blob/2.10.x/src/library/scala/runtime/VolatileObjectRef.java
• v2.11： https://github.com/scala/scala/blob/2.11.x/src/library/scala/runtime/VolatileObjectRef.java

Answer 2

检查 Maven 依赖项的工件和版本。我在使用时遇到同样的错误

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.10</artifactId>
    <version>2.0.1</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.0.1</version>
</dependency>

我不得不将spark-core_2.10更改为spark-core_2.11，异常消失了。