Kafka connect JDBC sink连接器用于多租户应用程序



我计划在多租户应用中使用kafka connect,如何根据消息负载或主题名称更改jdbc sink连接器中的连接url。所以它可以动态更改数据库,或任何建议,以最好地实现kafka连接在多租户应用程序

也可以使用SMT更改连接url吗?

不能根据记录更改连接url;该代码在写入任何记录之前启动一个连接。

你可以使用其他框架,如Flink, Spark, Apache NiFi等,你可以首先通过一个唯一的连接url分组,然后用相同的url写每批记录

否则,你可以使用Kafka Streams来做同样的事情。flatMap每条记录到一个唯一的主题,对于每个数据库,然后启动N不同的JDBC接收器连接器(可能每次看到一个新URL时启动一个向连接服务器的HTTP请求)

相关内容

最新更新