Kafka连接了水槽连接器属性中的多个主题

Question

我试图使用cassandra rink连接器读取2个Kafka主题，然后将其插入2个cassandra表中。我该怎么做？

这是我的connector.properties文件：

name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.connect.cassandra.sink.CassandraSinkConnector
tasks.max=1
topics=topic1,topic2
connect.cassandra.kcql=INSERT INTO ks.table1 SELECT * FROM topic1;INSERT INTO ks.table2 SELECT * FROM topic2 
connect.cassandra.contact.points=localhost
connect.cassandra.port=9042
connect.cassandra.key.space=ks
connect.cassandra.contact.points=localhost
connect.cassandra.username=cassandra
connect.cassandra.password=cassandra

我做的一切对吗？这是这样做的最佳方法还是我应该创建两个单独的连接器？

Answer 1

您的配置有一个问题。您每个主题分区需要一个任务。因此，如果您的主题有一个分区，则需要tasks.max至少设置为2。

我看不到它在连接文档中记录的，这是可耻的

Answer 2

如果要在一个消费者中消耗这两个主题，这很好，这是正确的设置。这样做的最佳方法取决于这些消息是否应该由一两个消费者消费。因此，这取决于您的业务逻辑。

无论如何，如果您想通过一个消费者消费两个主题，因为消费者可以订阅多个主题。您是否尝试过运行这个消费者？它有效吗？