卡夫卡的消费者再次收到了同样的信息



我有一个有30个实例的golang服务。有一个主题包含3个分区和一个侦听消息的使用者组。我们面临的问题是,每一条信息都会在24-30小时内被同一位消费者一次又一次地收到。我已经确认,消息被推送到主题一次,甚至每次消息都是一样的,但消息是在不同的时间间隔被拾取的,例如:

  • 2021年6月2日12:59:29.555
  • 2021年6月3日20:33:11.438
  • 2021年6月5日,12:08:40.710
  • 2021年6月6日,12:34:39.188

有人能帮忙解决问题吗?谢谢

  1. 您不需要从3个分区消耗30个实例。因为分区不是在使用者实例之间共享的。因此,如果您的主题有3个分区,那么使用者实例的最大数量应该是3个。

  2. 如果你的消费者在消费后没有进行阅读按摩,那么可能会发生再次消费。查看启用或禁用的使用者提交间隔和自动提交。如果您消费的消息没有提交,那么在消费者重新平衡后,这些消息可以被重新消费。

最新更新