Google Cloud Run并发限制+自动缩放澄清



Google Cloud Run允许每个容器指定请求并发限制。输入字段的潜文状态是"当达到此并发数时,将启动一个新的容器实例">两个澄清问题:

  1. 是否有任何方法可以设置Cloud Run以预测达到并发限制,并在此之前生成一个新容器,以确保超过容器1并发限制的请求由容器2无缝处理,而不会影响冷启动时间?

  2. 假设我们有最大实例设置为10并发性设置为10,目前有100个请求正在处理(即我们已经最大化了我们的容量,不能再自动扩展了)。第101个请求会发生什么?它会排队一段时间,还是会立即返回一个5XX ?

是否有办法设置Cloud Run以预测并发限制并在此发生之前生成一个新容器以确保超过容器1并发性限制的请求是安全的由Container 2无缝处理,无需冷启动时间影响请求?

。Cloud Run不会尝试预测未来的交通模式。

假设我们将最大实例设置为10,并发设置为10,并且目前有100个请求正在处理中(也就是说,我们的请求已经达到了最大值)我们的能力,不能再自动扩展)。101团怎么了请求吗?它会排队一段时间,还是5XX他马上就回来了?

HTTP Error 429 Too Many Requests将返回。

[EDIT - Google Cloud文档关于请求排队]

在正常情况下,您的修订通过创建新的扩展处理传入流量负载的实例。但是当你设定最大值时实例数量有限,在某些情况下会出现不足实例来满足该流量负载。在这种情况下,是传入请求排队最多60秒。在这60秒的窗口中,如果实例完成对请求的处理后,就可以对其进行处理排队的请求。如果在60秒内没有实例可用窗口时,请求失败,在Cloud Run(完全运行)上显示429错误代码管理).

关于最大容器实例数

相关内容

  • 没有找到相关文章

最新更新