如何在Kubeflow管道中安装Google Bucket

Question

我有一个KubeFlow管道，它在带有KF的GCP中的VM上运行。我使用Jupyter Notebook服务器和图像Jupyter kale和python创建了管道。管道的第一部分是进行数据准备，它下载图像并将其保存到PVC中。这一切都很好，但我的存储空间用完了，所以我决定将直接下载的图像保存到谷歌水桶中，而不是使用PVC。我修改了我的管道，如下代码所示：

import kfp
import kfp.dsl as dsl
import kfp.onprem as onprem
import kfp.compiler as compiler
import os
@dsl.pipeline(
name='try_mount',
description='...'
)
def one_d_pipe(pvc_name = "gs://xxx-images/my_folder/"):

trymount = dsl.ContainerOp(
name="trymount",
#image = "sprintname3:0.2.0",
image = "eu.gcr.io/xxx-admin/kubeflow/trymount_1:0.1"
)

steps = [trymount]
for step in steps:
step.apply(onprem.mount_pvc(pvc_name, "gs://xxx-images/my_folder/", '/home/jovyan/data'))

但这段代码在开始后立即导致一条错误消息，称该卷具有无效值，无法找到：

此步骤处于错误状态，并显示以下消息：Pod"试装-75vrt-3151677017"；无效：[spec.volumes[2]。名称：无效值："gs://xxx images/my_folder/"：DNS-123标签必须由小写字母数字字符或"-"组成，并且必须以字母数字字符(例如"my name"或"123 abc"，用于验证的正则表达式为"a-z0-9？"(、spec.contators[0]、volumeMounts[3]、name:未找到："gs://xxx images/my_folder/"；，spec.ccontainers[1]。volumeMounts[0]。名称：找不到："gs://xxx images/my_folder/"]

所以，我的问题是：

• 如何在Kubeflow Pipelines中安装谷歌桶

Answer 1

您不能将bucket装载为卷。它不是一个文件系统。然而，我相信你可以通过在你的虚拟机上使用gcsfuse来作弊。

• 在虚拟机上，安装带保险丝的GCS铲斗

gcsfuse xxx-images /path/to/mount-gcs

• 然后在代码中使用此目录。无需安装，地面军事系统已经安装了地面军事系统