从两个Kafka集群转发消息到另一个



我有三个Kafka集群:A, B和c。我在集群A上有关于主题输入的数据。关于topic incoming.data的data和Cluster B

我需要一种方法来发送接收到的所有消息。群集A和传入的数据。集群B上的dataB到集群C上的一个主题,收到。data。这能做到吗?

我知道镜像和流,但当数据从kafka集群转发到另一个集群时(当它们的主题名称不同时),这些都没有帮助。

MirrorMaker只能在两个集群之间使用,所以你必须链接A->B->C

你的下一个选择是使用一些Apache项目(或只是常规的客户端应用程序),如Spark/Flink/Beam/Nifi/Camel,从每个具有单独配置的消费者的集群中消费,并以某种方式与单个生产者客户端转发记录(建议首先加入数据,以某种方式,假设顺序或一些特征重要)

相关内容

  • 没有找到相关文章

最新更新