java.lang.NoClassDefFoundError: com/datastax/spark/connector

Question

我使用maven项目与spark，和一个cassandra作为数据库。我能够执行0错误的代码，并得到我想要的结果，但我不能与jar文件提交项目:这是我的pom.xml:

POM.xml

提交项目的命令:

spark-submit --master "local[*]" --class com.sparkfinal.App target/sparkfinal-1.0-SNAPSHOT.jar

错误:误差

Answer 1

您需要:

1. 为您的项目创建一个包含所有依赖项的汇编jar(确保您将Spark依赖项声明为provided)
2. 或在提交作业时使用--packages com.datastax.spark:spark-cassandra-connector_2.12:3.2.0指定Spark Cassandra Connector作为依赖项，如连接器的docs
所示。

我建议使用第一种方法，因为我看到您还需要提供其他依赖项。另外，请注意，您可能不需要指定java驱动程序依赖项，因为它将被Spark Cassandra Connector自动拉出。