spark和kafka之间的版本兼容性

Question

我正在将spring-boot从1.5更新为2.3，将kafka从0.11.0.3更新为2.5.0spark1.6.3与kafka2.5.0兼容吗？

Answer 1

Spark 2.3+升级了内部Kafka Client，并弃用Spark Streaming；我建议升级，不要声明对kafka-clients的显式依赖，因为它包含在spark-sql-kafka依赖中。

更新于0.10.2的Kafka客户端将继续针对更新的代理执行基本功能。