Spark + Kafka Integration error. NoClassDefFoundError: org/a

Question

我正在使用Kafka 2.5.0和Spark 3.0.0。我正在尝试将一些数据从 kafka 导入到 Spark 中。下面的代码片段给了我一个 erorr：

spark.readStream.format("kafka").option("kafka.bootstrap.servers", "localhost:9092").option("subscribe", "topic1").load()

我得到的错误说

java.lang.NoClassDefFoundError: org/apache/spark/sql/internal/connector/SimpleTableProvider

Answer 1

此错误主要是由于 spark-kafka 依赖冲突造成的。

如果还没有，您可以在 maven 存储库中检查支持的 scala 版本。

如果错误仍然存在，则可以共享更多详细信息，例如groupId，artifactId以及版本。