如何在Microsoft kubernetes中扩展机器学习微服务



我想根据队列中挂起的请求数量自动扩展kubernetes上的AI微服务,并在完成后自动销毁队列中的任务。

在Kubernetes中有三种主要的自动缩放方法,您可以在这里阅读:

  1. Kubernetes自动缩放,解释
  2. Kubernetes自动缩放:3种方法以及如何让它们变得伟大
  3. Kubernetes生产中的自动缩放:集群自动缩放器、HPA和VPA的最佳实践