Google colab pro加载大型数据集很慢



你好,我有一个问题加载图像数据集为我的教育目的。我已经完成了将每个图像路径加载到pandas框架的工作,但我还想加载该图像的像素。这是我的代码:

#data['image'] = data['path'].map(lambda x: np.asarray(Image.open(x).resize((224,224))))
data['image'] = data['path'].map(lambda x: np.asarray(Image.open(x)))
data.head()

这是pandas dataframe

中的数据
image_file              result  path
Normal/Normal-9093.png  Normal  drive/MyDrive/Colab Notebooks/Covid-19/Dataset...
Normal/Normal-908.png   Normal  drive/MyDrive/Colab Notebooks/Covid-19/Dataset...
Normal/Normal-9079.png  Normal  drive/MyDrive/Colab Notebooks/Covid-19/Dataset...
Normal/Normal-9109.png  Normal  drive/MyDrive/Colab Notebooks/Covid-19/Dataset...
Normal/Normal-9095.png  Normal  drive/MyDrive/Colab Notebooks/Covid-19/Dataset...

但是在colab pro中我仍然等待这个运行单元30分钟++。我已经启用了GPU和高RAM,但仍然存在同样的问题。我尝试使用原始数据集使用Kaggle笔记本,它加载速度非常快,但在colab中非常慢。我可以用另一种技术加载数据集吗?谢谢你

如果你想快速加载数据集,你应该从kaggle加载,而不是在驱动器文件夹

最新更新