FlinkKafkaConsumer和版本消费者之间的差异FlinkKavkaConsumer09/FlinkKafka



Flink kafka消费者有两种类型的消费者,例如:

这两个使用者层次结构都扩展了相同的FlinkKafkaConsumerBase类。我想知道维护编号类背后的设计决策是什么?我们什么时候应该使用其中一个?

我注意到带编号后缀的类有更多的功能(例如,速率限制(。

https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka/src/main/java/org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumer.java#L72

编辑:(以下链接已停止工作,因为此文件已在主分支中删除(。https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-kafka-0.10/src/main/java/org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumer010.java#L77

版本化的Kafka消费者(和生产者(是针对这些版本的Kaf卡客户端构建的,并且每个都打算与这些特定版本的Kavka一起使用。未经转换的连接器FlinkKafkaConsumer和FlinkKavkaProducer是使用通用客户端库构建的,并且与0.10之后的所有版本的Kafka兼容。

注意,Kafka 0.8和0.9的版本消费者和生产者在Flink 1.11中被删除,0.10和0.11的版本将在Flink 1.12中被删除(https://issues.apache.org/jira/browse/FLINK-19152)。

编辑:

在某些情况下,只需允许来自散热器的背压来节流源就足够了。但在其他情况下(例如,多个来源(,可能工作得不够好。

你会发现一些关于这一点的讨论,以及你自己限制利率的代码,在http://mail-archives.apache.org/mod_mbox/flink-user/202007.mbox/%3CCAJNyZN6w4kq3r3PG-872S3JJMZ6nNGBbt2C-LvCxMTpVqbWR3Q@mail.gmail.com%3E

相关内容

  • 没有找到相关文章

最新更新