Kafka JDBC Sink句柄数组数据类型

Question

我知道Kafka JDBC Sink Connector对于数组数据类型有一些缺点。但是，是否可以将Sink Connector与支持数组数据类型的简单Kafka Connector结合起来。我如何从Kafka配置中过滤并将它们切换到简单的Kafka连接器配置中?Kafka Connect如何支持数组字段

name: topic_name
type: array
item: Topic file

是否可以将它作为字符串而不是数组消费到数据库

"fields":[{
"name":"item_id",
"type":{
"type":"array",
"items":["null", "string"]
},
"default":[]
}]
}

Answer 1

Kafka Connect框架本身并没有暴露类型的限制，它在JDBC接收器的源代码中拒绝数组。

Postgres有一个出色的PR来支持它- https://github.com/confluentinc/kafka-connect-jdbc/pull/805

不清楚"简单"是什么意思，但是如果您想使用不同的连接器，那么您需要安装它，然后更改类。例如，也许MongoDB接收器处理数组。我知道S3和HDFS的水槽做…

是否可以将Sink连接器与一个简单的Kafka连接器组合在一起

还是那句话，我不确定你说的是什么意思，但是连接器通常不会"链在一起"。虽然你可以使用带有转换的MirrorMaker2来有效地完成与Kafka Streams相同的工作，但最好使用更合适的工具

是否可以将它作为字符串而不是数组消费到db

当然，如果消息字段实际上是一个字符串。正如建议的那样，您需要在接收器连接器使用消息之前处理消息