Kafka连接jdbc接收器SQL错误处理



我目前正在配置一个Kafka JDBC接收器连接器,以便在Postgres表中写入我的Kafka消息。除了错误处理部分外,其他部分都运行良好。有时,我的主题中的消息包含错误的数据,因此数据库约束失败,并出现预期的SQL EXCEPTION duplicate key。。。

我想把这些错误的消息放在DLQ中,并提交偏移量来处理下一个消息,所以我用配置了连接器

"errors.tolerance": "all"
"errors.deadletterqueue.topic.name": "myDLQTopicName"

但它不会改变任何事情,连接器会重试,直到崩溃。

我还缺少其他配置吗?我在合并文档中只看到了这两个

(我在jdbc连接器更改日志中看到,put阶段的错误处理是在10.1.0版本(CCDB-192(中实现的,我使用的是连接器10.5.1的最后一个版本(

"Kafka Connect框架提供了通用的错误处理和死信队列功能,可用于[去]串行化和单消息转换的问题。当连接器从源/目标系统实际提取或放入数据时,可能会遇到错误,这取决于连接器本身来实现相关逻辑">

如果重复密钥是您需要处理的唯一类型的坏记录,您可以考虑在insert.mode中使用upsert

最新更新