使用 kafka-go 在 Kafka 中计划创建消费者



我是卡夫卡的新手,目前正在研究它。我在戈朗使用kafka-go来创建生产者和消费者。目前,我可以创建一个生产者,但我希望在创建主题的生产者后创建消费者,而不是每次都创建。意味着对于每个主题,使用者仅创建一次。此外,当需要为主题创建更多使用者以平衡负载时,就会创建它。有没有办法安排它,无论是通过goroutines还是Faktory?

你不应该有一个耦合的生产者/消费者,Kafka 让你完全解耦生产者/消费者。

即使主题不存在,您也可以运行您的消费者(Kafka 将创建它,您只会收到领导者不可用警告(,并随时运行您的生产者。

关于扩展,这个想法是创建尽可能多的分区,因为您可能希望扩展主题(在使用者数量上(。

以下是有关主题分区策略的一些阅读材料: https://blog.newrelic.com/engineering/effective-strategies-kafka-topic-partitioning/

你在网上有很多关于这个的阅读。

雅尼克

最新更新