我对python和scrapy很陌生。现在我使用的是一个spider，它利用selenium来加载JS页面。我在训练营里运行一台windows电脑，我还有大约10GB的存储空间，然而，当我运行我的报废蜘蛛时，在运行的30分钟内，它几乎占据了一半的存储空间。我不知道为什么。我在settings.py中关闭了HTTP缓存，但它仍然占用了几GB的存储空间。
我在cmd中使用-o命令将输出保存到csv中，但这是我唯一能想到的会占用存储空间的东西。如有任何建议，我们将不胜感激！
您有几个选项可以提供您的信息。最值得注意的是，在mac上运行python脚本，而不是在Bootcamp窗口中运行。如果你的存储空间被占用了，你可以试着写一个.txt而不是.csv。也许可以试着举一个你正在加载/试图做什么的例子，这样我就可以复制