我给自己设定了一个目标,只用谷歌云来解决MNIST皮肤癌数据集。
在Google Kubernetes上使用GCS和Kubeflow。
我使用以下脚本将数据从 jpeg 转换为 tfrecord:https://github.com/tensorflow/tpu/blob/master/tools/datasets/jpeg_to_tf_record.py
我看过很多例子,他们如何将csv文件提供给他们的模型,但没有图像数据的例子。
将所有tfrecords 复制到 Google Cloud Shell 是否明智,以便我可以像这样将数据提供给我的模型?或者有没有更好的方法?
提前谢谢。
如果你正在使用 Kubeflow,我建议使用 kubeflow 管道。
对于预处理,可以使用基于标准管道数据流映像生成的映像gcr.io/ml-pipeline/ml-pipeline-dataflow-tft:latest
只需复制数据流代码并运行它:
FROM gcr.io/ml-pipeline/ml-pipeline-dataflow-tft:latest
RUN mkdir /{folder}
COPY run_dataflow_pipeline.py /{folder}
ENTRYPOINT ["python", "/{folder}/run_dataflow_pipeline.py"]
有关执行此操作的数据流代码,请参阅此样板。这个想法是您将TF记录写入Google Cloud Storage(GCS)。
随后,您可以使用Google Cloud的ML引擎进行实际训练。在这种情况下,您也可以从映像google/cloud-sdk:latest
开始,基本上可以使用 bash 脚本复制所需的文件,该脚本将运行以执行 gcloud 命令以启动训练作业。
FROM google/cloud-sdk:latest
RUN mkdir -p /{src} &&
cd /{src}
COPY train.sh ./
ENTRYPOINT ["bash", "./train.sh"]
将 TF 记录的存储位置传递到模型中的一种优雅方法是使用 TF.data:
# Construct a TFRecordDataset
train_records = [os.path.join('gs://{BUCKET_NAME}/', f.name) for f in
bucket.list_blobs(prefix='data/TFR/train')]
validation_records = [os.path.join('gs://{BUCKET_NAME}/', f.name) for f in
bucket.list_blobs(prefix='data/TFR/validation')]
ds_train = tf.data.TFRecordDataset(train_records, num_parallel_reads=4).map(decode)
ds_val = tf.data.TFRecordDataset(validation_records,num_parallel_reads=4).map(decode)
# potential additional steps for performance:
# https://www.tensorflow.org/guide/performance/datasets)
# Train the model
model.fit(ds_train,
validation_data=ds_val,
...,
verbose=2)
查看这篇博文,了解类似(更复杂的)kubeflow 管道的实际实现