在Kafka连接器中配置用于存储Kafka主题偏移的单独Broker



由于我是Kafka和Kafka连接器的新手,我有一个用例,我们将数据从Kinesis Stream推送到Kafka Topic,因为这将是一个即插即用的功能,我们使用Kafka Connect来服务这个用例。在这个用例中,我们将偏移量存储在Kafka Topic上,它通常会在我们配置的broker上创建,但这里的情况是,我们有在客户端环境中的broker,我们不想将偏移量数据提供给客户端,因为在任何故障的情况下,如果他们丢失了数据,我们将无法从上一个检查点恢复数据。我们在Kafka Connect中是否有任何规定或方式,可以在其自己的broker上存储单独主题的偏移量,并在客户broker 上存储客户数据主题

否,Kafka Connect只能将配置为boostrap.servers的集群上的偏移量存储在其工作者属性文件中。

您可以使用MirrorMaker将连接偏移量/使用者偏移量主题复制到一个单独的集群,但connect本身并不知道其他集群。

最新更新