在卡夫卡中,比max.poll.interval.ms花费更多时间的记录会发生什么



max.poll.interval.ms时间超过时,长处理记录会在后台运行,并触发重新平衡。据我所知,在重新平衡期间,kafka消费者(Spring kafkalistener(服务被暂停/重新启动,记录被分配给组中的其他消费者

如果应用程序或处理逻辑没有随着使用者线程停止,那么内存中就会有记录被处理。

如果事先提交了偏移,那么在重新平衡之后,这些记录将被有效地跳过。否则,理想情况下,这些偏移不应该提交后处理,因为在重新平衡后,其他消费者可能会再次尝试处理这些记录,这可能会导致数据重复。

最新更新