考虑我有一个三节点 kafka 集群，其中有 1000 个具有单个分区的主题。每个主题将由多个消费者组使用，例如并行使用 100 个。因此，总共可以有 1000*100 个消费群体并行消费 kafka。
我担心的是这是否会在更大规模的 kafka 集群中产生任何性能影响？
此外，我的模型将为每个用户请求启动消费者，并将从队列中获取单个数据，并且消费者将在请求结束时关闭。对于来自同一用户的下一个请求，将再次为同一组启动消费者并将其关闭。这将对所有用户重复此操作。
以这种方式创造和拆解消费者是否合适？如果没有，是否有其他正确的方法来处理此用例？
对于非常高的并发用例，请考虑使用类似并行消费者 (PC( 的内容来细分单个分区。
但是，建议至少具有 3 个分区，并且组中至少运行三个使用者，以利用高可用性。您可以再次使用PC并行处理所有这些分区，按键细分。
PC 直接解决了这个问题，通过按键对输入分区进行子分区并并行处理每个键。它还跟踪每个记录确认。在GitHub上查看Parallel Consumer(它是开源的BTW，我是作者(。