使用者对主题分区的影响缓慢



让有一个 Kafka 主题,只有一个分区配置了无限保留策略。让有两个消费者,FastSlow

Fast使用者在消息出现时处理消息,几乎没有延迟。

Slow消费者往往有明显的滞后,例如两天的消息。Slow有时会赶上Fast但这种情况很少发生,通常会有明显的滞后。

这种设置,在同一分区中具有两个不同的使用者速度,是否会对 Kafka 代理造成负面影响?从磁盘中为使用者检索旧消息是否会增加 I/O 成本Slow

滞后的使用者将无法从操作系统缓存中读取数据。因此,慢速使用者将产生 I/O 成本。另一方面,在缓慢的使用者开始读取消息后,kafka 将进行顺序 I/O 来缓存消息。如果延迟不是太多,使用者可以在缓存中找到下一条消息。

最新更新