假设消费者X已经从主题中读取了50个偏移量,但它失败了,那么消费者如何



假设使用者X已经从主题中读取了50个偏移量,但它失败了,那么使用者Y将如何获取偏移量,它如何存储数据,我们需要配置什么机制来实现这一点?

假设enable.auto.commit=true,并且您自己没有提交偏移量,默认的提交间隔大约为500个偏移量,因为这是默认的max.poll.records,那么同一消费者组的重新平衡将再次读取所有数据。

如果您禁用自动提交,和/或减少最大轮询记录,并在每批记录或每条记录之后手动提交,那么您只需要重复处理上次提交和崩溃之间的记录

";数据";用于偏移存储在__consumer_offsets主题中

最新更新