我正在运行一个带有不同组件的kubeflow pipleine,用于数据预处理、训练等阶段。
我知道我可以为每个阶段(组件(使用特定的图像。(例如,没有或使用gpu进行训练的图像。
我的问题是pipleline如何设置为针对不同阶段(组件(进行扩展?
或者它只是自动完成
谢谢。
由于容器化,每个组件(步骤(上分配的资源量由运行该组件的资源限制
对于管道中使用的GCP产品(例如Dataflow、AutoML(,资源将根据该产品的可扩展性自动进行扩展
可以创建自定义组件,为此,Vertex AI允许您为每个步骤选择资源量(例如机器类型、CPU限制、GPU限制(。对于自定义培训,您还可以选择更多选项,以创建更高效的流程。