在分布式模式下,Kafka Connect群集的偏移管理的行为是什么,该模式正在运行多个连接器并收听相同的主题集(或一个主题(?
因此,在分布式模式下,Kafka Connect将存储偏移信息在Kafka中,该偏移将由群集中的工人读取和承诺。如果我有多个连接器在Kafka Connect群集中聆听同一主题,该怎么办?分区的偏移是否在所有连接器中相同,或者每个连接器在分区上都有不同的偏移?
在幕后,水槽连接器具有属于消费者组的消费者(通常带有group-id="connect-connectorName"
(。据我所知,您不能在同一消费者组中有两个接收器连接器(无论如何,在同一消费者组中没有两个连接器 - 如果愿意,您可以简单地增加任务数量(。因此,在您的用例中,当一条消息传递时,连接器和两个不同的偏移都将在__consumer_offsets
主题(每个连接器/消费者组(中进行处理。