我在 Kafka 中有一个日志压缩主题,它正在通过 JDBC 接收器连接器写入 Postgres。尽管我在连接器上设置了mode=upsert
,但它仍然在接收器数据库中为每个值添加一个唯一的行,因为它将主题偏移量 (__connect_offset
( 和分区 (__connect_partition
( 与数据一起记录到每一行。
如何禁用 JDBC 接收器连接器记录主题信息(我不关心(?添加仅抓取数据列的fields.whitelist
并不能成功防止此元数据渗入我的数据库。
像下面这样的 SMT 也不起作用:
"transforms": "blacklist",
"transforms.blacklist.type": "org.apache.kafka.connect.transforms.ReplaceField$Value",
"transforms.blacklist.blacklist": "__connect_partition, __connect_offset"
我的坏...我在连接器上配置了错误的主键。我认为我正确地告诉它将主题键转换为表主键。最后,以下连接器配置起作用了:
"pk.mode": "record_key",
"pk.fields": "[Key column name here]"