JDBC Kafka 连接器是否可以从多个数据库中提取数据

Question

我很想设置一个JDBC Kafka连接器集群，并将它们配置为从同一主机上运行的多个数据库中提取。

我一直在浏览 Kafka Connect 文档，似乎在您配置 JDBC 连接器后，它只能从单个数据库中提取数据。

谁能证实这一点？

Answer 1

根据您启动工作线程的模式(独立或分布式(：

在独立模式下，您可以使用以下命令启动多个 jdbc 连接器：

bin/connect-standalone worker.properties connector1.properties [connector2.properties connector3.properties ...]

其中每个连接器属性与一个数据库匹配。

更多详情请见此处 ： 运行工人

在分布式模式下，首先使用 ：

 bin/connect-distributed worker.properties

然后使用 POST http 请求推送每个配置，例如：

$ curl -X POST -H "Content-Type: application/json" --data '{"name": "jdbc-source", "config": {"connector.class":"JdbcSourceConnector", "tasks.max":"1", "connection.url":"jdbc:sqlite:test.db", "topic.prefix":"connect-jdbc-test-", "mode":"bulk" }}' http://worker_host:8083/connectors

或者，使用包含 JSON 格式配置的文件

$ curl -X POST -H "Content-Type: application/json" --data @config.json http://worker_host:8083/connectors