有没有一种方法可以自动缩放strimzi kafka连接集群



我正在尝试确定是否可以水平扩展strimzi kafka连接集群,以利用pod/节点自动扩展,因为我的生产负载波动很大。

我曾尝试将hpa配置应用于最终的kafka-connect部署,但它似乎与kafkaconnect副本定义相冲突,因为新的pod启动并很快被杀死。我认为有一些strimzi机制将部署大小与kafkaconnect清单同步,从而阻止hpa工作。

有人知道这是否可能吗?

您不能自动缩放部署。您必须自动缩放KafkaConnect自定义资源,该资源支持缩放子资源并定义副本数。

请记住,自动缩放Kafka Connect并非易事:

  • 您需要确保在新Pod上有足够的任务要安排,并且您的连接器支持使用多个任务
  • 对于接收器连接器,您必须确保有足够的分区
  • 等等

So当CPU利用率超过80%或类似情况时,添加更多pod并不总是那么容易。