如果卡夫卡连接的debezium源连接器无法向卡夫卡生产怎么办

Question

我使用debezium源连接器连接mongoDB与SMT和AvroConverter。

当由于兼容性而面临序列化错误时，连接器是跳过错误记录，还是重试发送错误记录？

我设置了error.tolerance = 'all'(应该是errors.tolerance = 'all'(。我认为连接器没有将偏移量提交回kafka，所以连接器一直在尝试发送记录，对吗？

Answer 1

如果我理解正确，您可以配置重试行为，例如：

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

如果达到了失败的重试限制，则使用容差限制来确定是否应该跳过此记录(errors.tolerance=all(，或者是否要终止任务(errors.tolerance=none(。

有关更多详细信息，请参阅KIP-298：连接中的错误处理。