对于SQL server中的每次更新,debezium都会生成带有"after"one_answers"before"的事件负载。我想在不使有效载荷变平的情况下去掉"before"。
用例:
我将debezium与Kafka和hudi一起使用,并创建了一个数据湖,我不需要删除操作,所以我跳过了删除操作。
所以我想通过消除"之前"部分将有效载荷的大小减少一半,那么我们如何实现这一点呢?
TIA-
找到了一个解决方案,使用了现有的转换。下面的转换就像一个魅力
transforms=ReplaceField转换。ReplaceField.type=org.apache.kafka.connect.transforms.ReplaceField$Value转换。ReplaceField.exclude=之前
使用Debezium连接器移除after
的唯一方法是压平。你可以"加回";使用CCD_ 2配置的事件元数据。
替代解决方案包括使用Kafka Streams/KSQL/Spark/Flink等从Debezium源主题中选择/扩展您感兴趣的各个字段,用您想要接收的数据写入一个中间主题,然后让Hudi消费者读取该主题。