Flink(Kafka 源代码)如何管理偏移量



我正在使用 Flink 的FlinkKafkaConsumer09,我想知道 kafka 消费者的偏移量存储在哪里?

我在Zookeeper和Kafka的偏移主题中都找不到它们。此外,卡夫卡消费者偏移工具也找不到。

这是由 Flink 内部处理的吗?

Flink 并不完全依赖 Kafka 的消费者组偏移量跟踪,而是在内部跟踪和检查这些偏移量。

Flink 使用来自 Kafka 主题的数据,并使用 Flink 的分布式检查点机制定期检查点。如果失败,Flink 将从检查点目录恢复记录,之后开始从 Kafka 偏移量读取数据。

在 Flink 中启用检查点对于使用错误 Kafka 消费者非常重要。

这是您可以做到的。

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5000 msecs

相关内容

  • 没有找到相关文章

最新更新