所以我在0.9.0.1版本上有一个 kafka 消费者,我经常运行以下命令来检查它:
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <my-zookeeper> --group my-group
最近我注意到我的滞后随机变化,我不知道为什么,例如,如果我运行两次命令,我会得到:
Group Topic Pid Offset LogSize Lag Owner
<group> <topic> 0 148802905 148865604 62699 <my-consumer>
...
但是在第二次运行时,在我得到之后立即:
Group Topic Pid Offset LogSize Lag Owner
<group> <topic> 0 148865241 148865715 474 <my-consumer>
...
我对另一个消费者组也有类似的问题,但它不是随机更改数字的滞后,而是在数字和文本未知之间切换
我应该去哪里看?似乎是卡夫卡的问题,但也可能是消费者的问题,欢迎任何想法。提前致谢
如果偏移+lag = logSize,那么它很好。 滞后可能会根据您的消费者消费率增加或减少,并将其收回。你应该检查消费者为什么它变得中间变慢。通常发生在使用者执行某些操作,然后返回消息时。我们将 kafka 与风暴一起使用,当某些下游(例如持久性(需要时间时,我们面临着类似的问题。