顶点AI自定义预测与谷歌Kubernetes引擎



我一直在探索将Vertex AI用于我的机器学习工作流程。因为在Vertex AI中,仅使用一个节点将不同的模型部署到同一个端点是不可能的,所以我正在考虑一种变通方法。有了这个变通方法,我将无法使用许多Vertex AI功能,如模型监控、特征归因等,我认为,它只是一种在GKE集群上运行预测应用程序的管理替代方案。因此,除了成本差异之外,我正在探索在Vertex AI与GKE上运行自定义预测容器是否会涉及任何限制,例如,只有N1机器类型可用于Vertex AI 中的预测

还有一个类似的问题,但我并没有提出我希望回答的具体问题。

  • 我不确定可用的磁盘空间。在Vertex AI中,可以指定机器类型,例如n1-标准-2等,但我不确定有什么可用的磁盘空间,以及是否/如何指定?在自定义容器代码中,在处理多个模型工件或外部源的数据之前,我可能会将它们复制到本地目录中,因此了解任何磁盘空间限制都很重要
  • 对于Vertex AI中的自定义训练,可以使用交互式shell来检查运行训练代码的容器,如本文所述。对于自定义预测容器来说,这样的事情可能吗?我在文件中没有找到任何东西
  • 对于自定义培训,可以使用专用IP进行此处所述的自定义培训。同样,我在文档中没有发现任何类似的自定义预测,这可能吗

如果您知道任何其他可能的限制,请发帖。

  1. 我们没有指定磁盘大小,因此默认为100GB
  2. 我现在还不知道。但如果它是一个自定义容器,您可以在本地或GKE上运行它以进行调试
  3. 你在找这个吗?https://cloud.google.com/vertex-ai/docs/predictions/using-private-endpoints

相关内容

  • 没有找到相关文章

最新更新