在kafka通过多个消费者消费时将数据保存到数据库



我是kafka的新手,我面临的问题是,我有2个消费者正在从kafka主题批量消费数据,并希望将每个消费者获取的所有数据保存到db。如何做到这一点?
在属性文件listener中。设置Type =batch和max-poll-records=500。我创建了一个保存在服务类中定义的消息方法,并且我从消费者调用相同的方法。保存记录太费时了。

如果你的消费者"花了太长时间";"做得太多了",然后再平衡消费者群体,没有任何进展,那么你只需要小批量而不是500批次。

否则,你需要改善你的应用程序和数据库之间的网络连接,这是一个硬件问题。

最新更新