假设使用者X已经从主题中读取了50个偏移量,但它失败了,那么使用者Y将如何获取偏移量,它如何存储数据,我们需要配置什么机制来实现这一点?
假设enable.auto.commit=true
,并且您自己没有提交偏移量,默认的提交间隔大约为500个偏移量,因为这是默认的max.poll.records
,那么同一消费者组的重新平衡将再次读取所有数据。
如果您禁用自动提交,和/或减少最大轮询记录,并在每批记录或每条记录之后手动提交,那么您只需要重复处理上次提交和崩溃之间的记录
";数据";用于偏移存储在__consumer_offsets
主题中