使用spark-cassandra连接器运行spark应用出错

Question

我已经写了一个基本的spark应用程序，读取和写入Cassandra遵循这个指南(https://github.com/datastax/spark-cassandra-connector/blob/master/doc/0_quick_start.md)

这个应用程序的。sbt是这样的:

name := "test Project"
version := "1.0"
scalaVersion := "2.10.5"
libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % "1.2.1",
      "com.google.guava" % "guava" % "14.0.1",
      "com.datastax.spark" %% "spark-cassandra-connector" % "1.2.1",
      "org.apache.cassandra" % "cassandra-thrift" % "2.0.14",
      "org.apache.cassandra" % "cassandra-clientutil" % "2.0.14",
      "com.datastax.cassandra" % "cassandra-driver-core"  % "2.0.14"
)

正如你所看到的Spark版本是1.2.1(而不是1.3.1像很多其他问题)，但是当我使用Spark -submit运行这个应用程序时，我仍然遇到错误:

WARN TaskSetManager: Lost task 1.0 in stage 0.0 (TID 1, abcdev26): java.lang.NoSuchMethodError: org.apache.spark.executor.TaskMetrics.inputMetrics_$eq(Lscala/Option;)V
        at com.datastax.spark.connector.metrics.InputMetricsUpdater$.apply(InputMetricsUpdater.scala:61)
        at com.datastax.spark.connector.rdd.CassandraTableScanRDD.compute(CassandraTableScanRDD.scala:196)
        at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)
        at org.apache.spark.rdd.RDD.iterator(RDD.scala:244)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61)
        at org.apache.spark.scheduler.Task.run(Task.scala:64)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:203)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
        at java.lang.Thread.run(Thread.java:722)

我错过了什么?到目前为止，我搜索到的所有答案都建议使用我已经在做的1.2.1。

任何建议都将非常感谢!

Answer 1

您100%确定您运行的是Spark 1.2.1吗?还有遗嘱执行人吗?

问题是这个度量访问器在Spark 1.3.0中变成私有的，因此在运行时找不到。看到TaskMetrics。scala - Spark 1.2.2 vs TaskMetrics。scala - spark v1.3.0，所以很可能有一个Spark1.3。X版本

确保使用相同的1.2版本。