获取 OSError: [错误 12] 抓取时无法分配内存

Question

我正在使用scrapy来抓取数据。在短时间内爬网数据时发生内存错误。 OSError: [Errno 12] Cannot allocate memory可能是什么原因。

Answer 1

这可能是

因为内存不足。尝试使用以下命令增加交换内存。

sudo dd if=/dev/zero of=/swapfile bs=1024 count=1024k
sudo mkswap /swapfile
sudo swapon /swapfile

然后打开 fstab

sudo nano /etc/fstab

然后添加以下行以使交换更改永久化。

/swapfile       none    swap    sw      0       0 

参考链接

Answer 2

您还可以指定在抓取项目settings.py文件上使用多少内存：

MEMUSAGE_ENABLED = True
MEMUSAGE_LIMIT_MB = 1024

我认为 scrapy 使用512作为默认内存使用情况。