可供下载的最新版本的kafka是kafka 2.1.0。但是,为了在火花流或火花结构化流中使用kafka,我们分别使用以下连接器:
spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11
我的问题是,由于连接器的名称包括0-10,因此连接器似乎适用于KAFKA版本0.10.0.0。我在这里不了解某些东西吗?或者我们真的在使用较旧版本的kafka的连接器?
用于火花结构流2.4,使用kafka客户端2.0。
0-10意味着它与0.10或更高版本的Kafka经纪人兼容。
您可以在Spark Project中的pom.xml
中检查它:https://github.com/apache/spark/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml.xml#l33