我想在使用COLAB时从Google存储桶中使用Kaggle数据集。
首先:是否有一种方法可以通过Kaggle API将Kaggle数据集直接上传到Google Bucket?
第二:如何在不复制笔记本的情况下从COLAB中使用Google存储桶中的数据?
目前,我与Colab一起使用Google Bucket的经验是通过URI进行音频转录:
:gcs_uri = 'gs://bucket_name/file_name.wav'
audio = types.RecognitionAudio(uri=gcs_uri)
我猜想我还可以直接从URI将数据加载到Python Pandas DataFrame中。我在本地机器上使用Kaggle API的经验,例如:
kaggle competitions download -c petfinder-adoption-prediction
使用Kaggle API下载数据。如果我将数据加载到COLAB笔记本电脑中,则在会话之间将其删除,因此我使用Google存储桶的目的是为多个会话提供。
您可以在第一个问题上尝试此解决方案。不确定是否可以使用所需的数据集,但这表明这是可能的。但这不是通过Kaggle API。
第二个问题是如何在不复制笔记本的情况下使用数据,您实际上可以将存储桶作为磁盘安装在实例中。然后您可以直接访问数据。
因此,将它们放在一起,您可以将存储桶安装在本地,然后将数据移入其中。然后,您可以在笔记本中访问。