如何在本地环境中读取GCS路径



我通常在Kaggle/Colab上进行机器学习工作,但我试图将代码模块化到github上。当我试图从GCS读取文件时,我面临一个大问题。

例如,我有GCS_PATH = "gs://kds-432679f77c5f716920e51fb4289eb7c6d9d6",并希望这样做:

TRAINING_FILENAMES = tf.io.gfile.glob(GCS_PATH + "/train*.tfrec")

然而,我的vscode向我抛出了这个错误"in get_matching_files_v2 compat.as_bytes(pattern)) tensorflow.python.framework.errors_impl.UnimplementedError: File system scheme 'gs' not implemented (file: 'gs://kds-432679f77c5f716920e51fb4289eb7c6d9d6/train*.tfrec')"

colab上一切都很好,但在本地环境中会立即失败。我对此很陌生,请就如何处理这个问题提供建议。

这可能是由于对gc的版本支持不兼容。您可以尝试将tensorflow_dataset从3.2.1降级到3.1.0。请参阅下面的类似问题:https://github.com/tensorflow/tensorflow/issues/38477#issuecomment-659279614祝你好运

最新更新