我正在探索GCP中的顶点AI AutoML功能，它允许用户导入数据集，训练，部署和预测ML模型。我的用例是自己进行数据预处理(我对AutoML数据预处理不满意)，并希望将该数据直接提供给管道，在管道中训练和部署模型。另外，我想将新数据提供给数据集。它应该负责整个管道(从数据预处理到部署最新模型)。我想知道如何解决这个问题。
您可以使用Kubeflow Pipelines SDK v1.8.9或更高版本或TensorFlow Extended v0.30.0或更高版本创建自定义管道。
-
如果您在处理tb级结构化数据或文本数据的ML工作流中使用TensorFlow，建议您使用TFX构建管道。
-
对于其他用例，我们建议您使用Kubeflow Pipelines SDK构建管道。通过使用Kubeflow Pipelines SDK构建管道，您可以通过构建自定义组件或重用预构建的组件来实现您的工作流。
要创建Kubeflow管道，您可以遵循下面的指南