自定义代码容器的谷歌云ml推理



我知道可以在谷歌云上部署用于培训作业的自定义容器,并且我已经能够使用命令运行相同的容器。

gcloud ai-platform jobs submit training infer name --region some_region --master-image-uri=path/to/docker/image --config config.yaml

培训工作成功完成,模型也成功获得,现在我想使用这个模型进行推理,但问题是我的一部分代码具有系统级依赖性,所以我必须对架构进行一些修改,以使其始终运行。这就是最初为培训工作定制容器的原因。

据我所知,该文档仅适用于训练部分和推理部分,(如果可能的话(还没有探索自定义容器。

培训部分文档可在此链接上获得

我的问题是,有可能在谷歌云ml上部署用于推理目的的自定义容器吗?

此响应指的是使用Vertex AI Prediction,这是GCP上ML的最新平台。

假设您在培训工作中将模型工件写入云存储。

下一步是创建自定义容器并推送到注册表,方法如下:

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements

本节描述如何将模型工件目录传递到用于interence的自定义容器:

https://cloud.google.com/vertex-ai/docs/predictions/custom-container-requirements#artifacts

您还需要创建一个端点来部署模型:

https://cloud.google.com/vertex-ai/docs/predictions/deploy-model-api#aiplatform_deploy_model_custom_trained_model_sample-gcloud

最后,您将使用gcloud ai endpoints deploy-model ...将模型部署到端点:

https://cloud.google.com/sdk/gcloud/reference/ai/endpoints/deploy-model

最新更新