使用Akka流并行使用Kafka生产商

Question

我想将写入与kafka并行，即在akka-stream中，有多个生产者将数据发送到kafka。在其他情况下，我的流将有几个初始阶段，然后在发送数据时，我想让大约16个工作人员同时发送数据。

我想知道我是否需要将akka流嵌入akka-stream图DSL中，并为此使用平衡器，或者是否有更轻松的解决方案。另外，简单地说，如果有人做了一般的事情，那就太好了。

Answer 1

akka streams kafka（又名反应性kafka）具有生产者并行性的特定设置（请参阅docs）

akka.kafka.producer {
  # Tuning parameter of how many sends that can run in parallel.
  parallelism = 100
  ...
}

您是否尝试过将其调整以解决您的问题？