扩展GCP AI模型TF服务的问题

Question

我已经在GCP AI模型TF上部署了MNIST数据集，TF服务于并面临缩放问题。我想知道其他人是否也面临过类似的问题，以及他们将如何解决这个问题以扩大规模

行为

1. 如果我每秒创建3个请求，则模型会在单核上正确地给出预测
2. 如果将请求数目增加到每秒1000；代码"：403中，"消息"："请求的身份验证作用域不足&"；，或javax.net.ssl.SSLHandshakeException：远程主机终止了握手

在另一个模型版本上，我非常确信它可以使用java客户端，也可以从GCP测试和使用UI中工作，但自从我尝试以1000/sec进行扩展后就停止了工作。这是在n1-highmem-2服务器上。其给出错误

"{
"error": {
"code": 400,
"message": "Request contains an invalid argument.",
"errors": [
{
"message": "Request contains an invalid argument.",
"domain": "global",
"reason": "badRequest"
}
],
"status": "INVALID_ARGUMENT"
}"

有几个问题是，与部署在vm上相比，tf为模型提供gcp ai是否有任何优势？感谢的帮助

Answer 1

每分钟可以发送的在线预测请求数量有限制。我的假设是，当你试图发起60000次请求时，你正在超过每分钟6000次请求的限制，是原来的十倍。尽管错误消息不是不言自明的，但它们可能来自那里。

您可以通过查看GCP控制台中的配额页面并在AI平台培训下查找"每分钟在线预测请求"来确认这一点；预测API服务。幸运的是，如果你需要更多的缩放能力，你有可能增加其中的一些限制。

关于通过AI平台为您的模型提供服务的优势，主要是您不必关心VM周围的架构，因为当更多请求到达时，它会自动扩展(假设您已经为用例设置了所需的限制(。