为Kafka流中的不同操作设置不同的线程



我在kafka流中定义了以下拓扑

Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic
Operation 2 : input_stream ----> write_to_topic

我已经观察到两个操作都是通过同一线程执行的(即使我增加了螺纹的StreamsConfig.NUM_STREAM_THREADS_CONFIG因子)。但是现在我希望它们通过不同的线程处理,因为Operation 1正在减慢Operation 2。是否可以为不同的操作设置不同的线程。如上所述,Operation 1正在阻止和放慢Operation 2

kafka流通过分区和子访问/任务并行化。在您的情况下,只有一个亚访问学,因此您只能通过分区并行化。因此,您可以按并行运行与输入主题分区一样多的线程,并且每个线程处理的一个分区(或多个分区是您的线程比分区少)。

如果您真的想将两个"操作分支"分为独立线程,则需要编写两个应用程序而不是一个。

相关内容

  • 没有找到相关文章

最新更新