每隔几分钟记录一次 Kafka 使用者"Auto offset commit failed"



我正在使用Kafka 0.9"新"消费者API连接到Kafka 0.9.0.0。每隔几分钟,就会记录以下错误:

2016-01-27T16:38:14,584Z [池-1-线程-1] 错误 o.a.k.c.c.i.ConsumerCoordinator - 自动偏移提交失败。 org.apache.kafka.clients.consumer.internals.SendFailedException: null

这是我的代理和消费者配置的要点。

代理日志中没有相应的/相关的日志消息,并且记录似乎流经我的系统很好。此消息主要是一种烦恼,会导致分散注意力的警报和噪音。

我很想知道这个异常意味着什么,但我真正的问题是:

  1. 我应该关注这个例外吗?
  2. 如果我不应该担心,有没有办法通过调整消费者/代理配置来抑制它?
  3. 如果上述两个问题的答案是"否",那么抑制这些消息的好规则是什么(我可以使用 Logback 来做到这一点),这样我就不会错过合法的SendFailedException日志消息

我在不同的地方(苍鹭和卡夫卡Spout)有相同的错误消息!我的发现如下:

如果使用enable.auto.commit = true则不得使用consumer.commitAsync();

最新更新