如何在 apache nifi ConsumptionKafka 中的同一处理器中添加更多消费者

Question

Kafka 主题大约有 100 个分区，我正在使用 Apache nifi ConsumeKafka 从该 kafka 读取数据并发送其他服务器。

目前这个nifi消费Kafka处理器只有一个消费者，我希望有类似数量的消费者来匹配分区，我没有任何选择来增加消费者的数量，目前我正在向同一消费者组添加新处理器，我虽然这种方法是正确的。

如何在相同的nifi消费者卡夫卡处理器中增加消费者？

Answer 1

如果您正在运行独立的 nifi 实例，则单个使用者线程将启动。要增加线程数，您需要增加处理器上的"并发任务"，它将启动这些线程。

在您的情况下，由于主题有 100 个分区，为了获得最佳性能，您的使用者上应该总共有 100 个线程。

您可以在此屏幕上找到该属性。