我总共有3个虚拟机(CloudVPS(。他们每个人都安装了java,confluent开源。在VM1中,我正在运行Splunk-sink-connector的3个进程,这些进程从不同的主题读取并在不同的端口上运行。使用REST调用,我为每个调用发布了JSON配置。
由于我在分布式模式下运行,因此我也想利用其他 2 个 VM。任何人都可以告诉我该怎么做,将其他 2 个 VM 添加到这 3 个进程中以实现并行处理。
您只需要在三个虚拟机上以分布式模式运行 Kafka Connect,按照此处的说明进行操作,并确保为它们提供相同的group.id
,以将它们标识为同一集群的成员(因此有资格在它们之间共享任务的工作负载(。有关分布式模式的更多配置详细信息,请参阅此处。
另请参阅:
- https://rmoff.net/2019/11/22/common-mistakes-made-when-configuring-multiple-kafka-connect-workers/
- http://rmoff.dev/ksldn19-kafka-connect