如何使用Kafka信宿连接器来连接有部分记录的数据库



我有一个kafka主题,它按的顺序接收消息

1 (emp id ; 321 , designation: abc , accountno : 1234)

现在这个记录已经更新了。emp名称已经更改,下一条消息如下。

只有更改被推送,其他字段无效。

2 (emp id :321 , designation:efg , accountno:null)

是否可以使用接收器连接器将其复制到具有正确更新的数据库中?

最终结果是数据库表应该有这样的记录

emp :321 . designation :efg. accountno:1234

每个数据库接收器连接器的工作方式不同。

例如,JDBC连接器将存储空列;记录的每个字段都被打乱排列成一行。MongoDB连接器可以替换整个文档,也可以允许部分文档更新。Elasticsearch接收器与文档的工作原理类似。

但通常情况下,只要您有匹配的字段和一些记录键,更新操作应该是可能的,即使这首先需要使用一些外部存储将部分记录连接回完整记录。

相关内容

  • 没有找到相关文章

最新更新