每秒消息量可调的Kafka生产者

Question

编写输出稳定但可调整的Apache Kafka生产者的最佳方法是什么。

示例：生产者应每秒向代理发送1000条消息。在运行时，输出应可调整为10或10000条消息/秒。

一种方法是设置一个调度器，该调度器每秒运行一次，并批量发送预定义数量的消息。

添加：由于此生产者应该是性能测试框架的一部分，因此需要发送的消息量相当高。一个人将如何处理非常高的负载？使用阿卡会有好处吗？

目标语言是Scala，但任何语言的示例代码都非常受欢迎。

Answer 1

在java中，这可以通过在生产者代码中使用guava的RateLimit来实现，在中，您可以定义生产者向kafka broker生成消息的速率。