如何在每次爬网后阻止scratch覆盖CSV导出文件



目前,我使用scrapy在网页的多个页面中爬行,并将数据导出到CSV文件中。每天,蜘蛛都会在页面中爬行并保存数据;不过,它会重写前几天的数据。我想知道如何对管道进行编程,使其从文件末尾开始写入同一文件中的CSV。通过这种方式,我可以将以前刮来的所有数据保存在一个地方。

通常只需更改打开文件例程中的参数即可附加

更改

f = open('filename.txt','w')

f = open('filename.txt','a')

当然,如果我们能看到你的原始代码,这将有助于我们更加具体。

最新更新