用于火花流的Kafka连接器的版本



可供下载的最新版本的kafka是kafka 2.1.0。但是,为了在火花流或火花结构化流中使用kafka,我们分别使用以下连接器:

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

我的问题是,由于连接器的名称包括0-10,因此连接器似乎适用于KAFKA版本0.10.0.0。我在这里不了解某些东西吗?或者我们真的在使用较旧版本的kafka的连接器?

用于火花结构流2.4,使用kafka客户端2.0。

0-10意味着它与0.10或更高版本的Kafka经纪人兼容。

您可以在Spark Project中的pom.xml中检查它:https://github.com/apache/spark/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml.xml#l33

最新更新