作为需求的一部分,我们将继续使用 Kafka connect 将数据推送到我们的数据库。到目前为止,我读到的是消息和数据库行之间将有一个 1x1 的映射,即对于 Kafka 上的单个消息,数据库中将有一个相应的条目。我想知道是否有可能将嵌套的 json 分解为多行以插入到 db 中?
我能想到的两种可能性是:-1( 为 jdbc 接收器编写自定义连接器2(使用消费组而不是kafka connect
使用使用者组而不是 kafka connect
连接是一个消费者群体。强烈建议不要编写自己的逻辑来处理连接故障、偏移管理、停用等,而让 Connect 为您完成这项工作。如果这些"好处"对您不起作用,即使如此,我认为最好分叉连接器代码(您的选项 2(,而不是编写一个普通的消费者
连接单条消息转换大致是您要查找的内容。否则,您将编写一个使用者/生产者/Kstreams 应用程序来读取和写回"平展"主题,然后 Connect 将该输出主题读取到数据库中。
注意:JDBC 不是您唯一的选择。Mongodb 或 Couchbase 处理嵌套的 JSON 就好了