Kafka Consumer——批处理和提交

Question

假设我有一个来自1个consumer.poll()的批处理(10条记录)

遍历10条记录。如果进程成功，我将调用commit(record.offset() + 1)。因此，如果记录有，我只提交编号为4,7,9的记录。

我知道当我们提交9号记录时==>我们可以轮询的下一个记录将是第10号记录

其他记录1、2、3、5、6、8会发生什么?Kafka有一个死信队列让他们进入吗?

Answer 1

不，它没有。Kafka中的消费者只能消费最后一个偏移量。

但是你可以有一个技巧，将失败的消息存储在数据库或其他Kafka主题中，稍后再处理它们。