Kafka在Distribution模式下的连接行为



我在分布式模式下运行Kafka connect,有两个不同的连接器,每个连接器一个任务。每个连接器都在不同的实例中运行,这正是我想要的。

是否总是确保相同的行为,Kafka连接集群共享负载正确?

Kafka Connect中的连接器运行一个或多个任务。任务的数量取决于您如何配置连接器,以及连接器本身是否可以运行多个任务。JDBC Source连接器就是一个例子,如果从数据库中摄取多个表,它将为每个表运行一个任务(如果配置为这样做)。

当你在分布式模式下运行Kafka Connect时,所有连接器的任务都在可用的worker上执行。每个任务一次只能在一个worker上执行。如果一个worker失败(或关闭),那么Kafka Connect将在剩余的worker之间重新平衡任务。

因此,您可能会看到一个连接器在不同的工作者(实例)之间运行,但前提是它有多个任务。

如果你认为你看到同一个连接器的任务执行不止一次,那么它表明Kafka连接集群配置错误,我建议检查https://rmoff.net/2019/11/22/common-mistakes-made-when-configuring-multiple-kafka-connect-workers/。

相关内容

  • 没有找到相关文章

最新更新