为什么 spark-submit 在 --jars 中使用 Cassandra 连接器"Failed to load class for data source: org.apache.spark.s



Spark版本:1.4.1

Cassandra版本:2.1.8

Datastax Cassandra连接器:1.4.2-SNAPSHOT.jar

命令我运行

/spark-submit--jars/usr/local/src/spark-cassandra connector/spark-cassandra connector java/target/scala-210/spark-passandra-connector-java-assembly 1.4.2-SNAPSHOT.jar--驱动程序类路径/usr/local/src/spark-kassandra connect器/spark-cad桑德拉connector-java-assembly-1.4.2-SNAPSHOT.jar--jars/usr/local/lib/spark-1.4.1/external/kafka/target/scala-2-10/spark-streaming-kafka_2.10-1.4.1.jar--jar/usr/local/lib/spark-1.4.1/eexternal/kafka assembly/target/scala-2.10/spark-treaming-kafka assembly_2.10-1.4.1jar--驱动程序类路径/usr/local/lib/spark-1.4.1/external/kafka/ttarget/scala-2-10/sark-streaming-kafka~2.10-1.4.1..jar--驱动程序级路径/usr/local/lib/spark-1.4.1/external/kafka-assembly/target/scala-210/spark-streaming-kafka-asseliary_2.10-1.4.1.jar--软件包org.apache.spark:spark:streaming-kafka_2.10:1.4.1--执行器内存6g--执行器内核6--master local[4]kafka-streaming.py

以下是我得到的错误:

Py4JJavaError: An error occurred while calling o169.save.
: java.lang.RuntimeException: Failed to load class for data source: org.apache.spark.sql.cassandra

一定是在做傻事。如有任何回应,我们将不胜感激。

尝试在同一个--jars选项中提供所有的jars(逗号分隔):

--jars yourFirstJar.jar,yourSecondJar.jar

对于开发目的,一个更方便的解决方案是使用maven-central的jar(逗号分隔):

--packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1,com.datastax.spark:spark-cassandra-connector_2.10:1.4.1

相关内容

  • 没有找到相关文章

最新更新