在GCP AI Platform Unified的文档中,它说:
AI平台根据CPU使用情况缩放您的节点,即使您已将预测节点配置为使用GPU;因此,如果你的预测吞吐量导致GPU使用率很高,但CPU使用率不高,你的节点可能不会像你预期的那样扩展
我们如何根据GPU使用情况进行缩放?
- 人工智能平台遗留功能似乎能够做到这一点[1],但它也在预览中,看起来这一功能尚未添加到人工智能平台统一版中
- 您可以查看AI平台统一发布说明更新[2],查看有关此功能的更新
[1]https://cloud.google.com/ai-platform/prediction/docs/machine-types-online-prediction#specifying_gpus
[2]https://cloud.google.com/ai-platform-unified/docs/resources/release-notes