将不同的 Kafka 实例连接到不同的 Kafka 主题



我尝试使用一个worker以分布式模式将Kafka Connnect实例的信息发送到特定主题,我在启动实例时使用的"archive.properties"文件中具有主题名称。

但是,当我发送五个或更多实例时,我看到消息合并到所有主题中。

我认为的"解决方案"是制作一个地图来存储ID和主题之间的关系,但它不起作用

是否有特定的 Kafka 连接实现来执行此操作?

谢谢。

首先,有关如何运行连接以及使用哪个连接器的详细信息将非常有帮助。

某些连接器支持将数据发送到多个主题。例如,confluent-jdbc-sink 会将每个表发送到单独的主题。因此,这可能是您使用的连接器的限制。

还取决于连接器和您的用例 - 是否需要运行多个连接器。使用 JDBC 连接器,每个数据库需要一个连接器,它将处理所有表。如果在同一数据库和同一表上运行两个连接器,则会得到重复项。

简而言之,希望您的连接器有有用的文档。

在下一版 Apache Kafka 中,我们将添加单消息转换。其中一个转换可以根据事件中的数据修改目标主题 - 因此您可以使用转换来执行事件路由。

相关内容

  • 没有找到相关文章

最新更新