我在谷歌云平台(机器学习引擎(中部署了一个基于随机森林的模型来获得在线预测。当我使用Google API客户端库的API调用API时，通常需要大约15秒才能得到响应(只有一个实例(。当我尝试使用大约15个实例时，获得响应的时间增加到2分钟以上。当这个问题第一次出现时，我们将minNodes配置为1，以确保始终有一个节点准备就绪。然而，这并没有解决我的问题。
我试图在谷歌文档中找到一个解决方案，但这并不清楚。例如，我已经激活了控制台日志(--enable console logging(，但我看不到任何日志。
如果有任何改进我的模型的建议，我将不胜感激。
这里的命令用于部署模型：
gcloud beta ai-platform models create $MODEL_NAME
--regions $REGION
--enable-console-logging
gcloud alpha ai-platform versions create $VERSION_NAME
--log-http
--model $MODEL_NAME
--runtime-version 1.15
--python-version "3.7"
--origin gs:/$patch_custom/
--package-uris gs:/$patch_custom/ML_MODEL_RAR-0.0.tar.gz
--prediction-class AQ_Service.predictor.rf_predictor
--machine-type mls1-c4-m4
--config CONFIG.YAML
*/
配置。YAML:
autoScaling:
minNodes: 1 # The minimum number of nodes to allocate for this model.
注意：它使用机器类型mls1-c4-m4，因为这是在不使用其他只支持TensorFlow的机器的情况下解决模型大小问题的唯一方法。
类似问题：在线预测的高延迟问题
H3P04
从表面上看，很难说HTTP请求/响应的延迟有多少，模型的预测有多少。如果HTTP部分为0，那么您可以预期15s*15=3.75分钟。看来2分钟后你的表现还不错。
您可以通过使用更快的计算硬件来进一步减少延迟。以下是谷歌文档的链接：https://cloud.google.com/ai-platform/prediction/docs/machine-types-online-prediction