我正在使用 Flink 的FlinkKafkaConsumer09
,我想知道 kafka 消费者的偏移量存储在哪里?
我在Zookeeper和Kafka的偏移主题中都找不到它们。此外,卡夫卡消费者偏移工具也找不到。
这是由 Flink 内部处理的吗?
Flink 并不完全依赖 Kafka 的消费者组偏移量跟踪,而是在内部跟踪和检查这些偏移量。
Flink 使用来自 Kafka 主题的数据,并使用 Flink 的分布式检查点机制定期检查点。如果失败,Flink 将从检查点目录恢复记录,之后开始从 Kafka 偏移量读取数据。
在 Flink 中启用检查点对于使用错误 Kafka 消费者非常重要。
这是您可以做到的。
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5000 msecs