来自 Kafka Connect 的逻辑删除记录

Question

是否可以配置 Kafka Connect (Source( 以生成逻辑删除记录？

我有一个记录"删除"事件的表。 我可以将其填充到一个主题中，并根据需要编写一些代码以将逻辑删除记录转发到其他主题，但如果可以让 JDBC 源连接器为我生成逻辑删除记录，则可以跳过 ode 部分。 我没有看到将 kafka 源代码连接中的值设置为"null"的方法。

谢谢

Answer 1

我认为，正如@Debbie所建议的那样，我们将能够使用"Drop"Kafka Connect Transformation创建Tombstone记录。

以下是来自 JDBC 源连接器配置的工作代码片段：

"transforms": "dropValueAndForceOptionalSchema",
"transforms.dropValueAndForceOptionalSchema.type": "io.confluent.connect.transforms.Drop$Value",
"transforms.dropValueAndForceOptionalSchema.schema.behavior": "force_optional"

因此，配置将从消息中删除值，如果值的架构还不是可选的，则转换将强制覆盖架构以成为可选。

ksql> PRINT 'local-CONTINENTS';
Key format: AVRO or KAFKA_BIGINT or KAFKA_DOUBLE or KAFKA_STRING
Value format: ¯_(ツ)_/¯ - no data processed
rowtime: 2023/08/22 10:30:11.165 Z, key: {"CONT_CODE": "EU"}, value: <null>, partition: 0
Value format: AVRO
rowtime: 2023/08/22 10:33:11.167 Z, key: {"CONT_CODE": "AS"}, value: {"CONT_CODE": "AS", "CONT_NAME": "ASIA", "CONT_REFUPD": 1692700360103}, partition: 0

希望它可能会有所帮助！

谢谢。