加载GPT2模型时，设备错误上没有剩余空间

Question

我正在尝试用GPT2进行实验;例如，我使用model = GPT2Model.from_pretrained('gpt2-xl')

我得到的错误是回溯，导致OSError: [Errno 28] No space left on device: '/home/username/.cache/huggingface/transformers/tmpvuvw8j0t'。

这不太可能是我的代码本身的错误，因为完全相同的代码可以很好地用于GPT3-1.3B和T5-Large(当然除了model= ....)线).

我认为问题在于它试图下载GPT2模型并耗尽设备上的空间。/home/username目录的存储空间非常小;"/data/username"目录是大部分存储空间所在的目录。我不太确定如何将其重定向到后一个目录上下载权重，或者这是否会有所帮助。

我真的很感谢任何帮助解决这个问题!

Answer 1

我设法弄清楚如何在没有访问根权限的情况下解决它。输入export TRANSFORMERS_CACHE=/directory解决了这个问题。

Answer 2

作为一种解决方法，您可以从具有更多可用空间的文件系统绑定挂载一个目录:

# mount --bind /data/username/huggingface-cache /home/username/.cache/huggingface

这个挂载一直存在，直到您重新启动系统。如果您想让它持久，您可以将它添加到您的/etc/fstab文件中，以便在引导时挂载。