Cassandra 连接器 Apache Spark:本地类不兼容

Question

我试图使用 Cassandra Spark 连接器加入 castra Table 的 rdd：

samplerdd.joinWithCassandraTable(keyspace, CassandraParams.table)
      .on(SomeColumns(t.date as a.date,
        t.key as a.key)

它在独立模式下工作，但是当我在集群模式下执行时，出现此错误：

Job aborted due to stage failure: Task 6 in stage 0.0 failed 4 times, most recent failure: Lost task 6.3 in stage 0.0 (TID 20, 10.10.10.51): java.io.InvalidClassException: com.datastax.spark.connector.rdd.CassandraJoinRDD; local class incompatible: stream classdesc serialVersionUID = 6155891939893411978, local class serialVersionUID = 1245204129865863681

我已经检查了主站和从站的罐子，似乎是相同的版本。

我使用 spark 2.0.0， Cassandra

3.7， Cassandra-Spark Connector 2.0.0 M2，Cassandra Driver Core 3.1.0 和 Scala 2.11.8

它会发生什么？

Answer 1

终于解决了。将 cassandra 驱动程序核心依赖项更新到 3.0.0 并正常工作。- 曼努埃尔·瓦莱罗刚刚编辑