使用Scrapy抓取网站失败:与另一边的连接以不干净的方式丢失

Question

我尝试使用scrapy来废弃一个网站，但一直收到错误"与另一边的连接以非干净的方式丢失"。

尝试设置用户代理和头文件，但不工作。以下是完成的日志。如有任何意见，我将不胜感激。

http://pastebin.com/CSQ7Dkme

Answer 1

我认为出现此信息的原因是所请求的页面有问题，而不是代码。