与另一端的连接以不干净的方式丢失

Question

from scrapy.spider import BaseSpider
class dmozSpider(BaseSpider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]
    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)

然后我运行"刮擦爬行 dmoz"然后我得到这个错误：

2013-09-14 13：20：56+0700 [dmoz] 调试： 重试 http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> （失败 1 次）：与另一端的连接在非干净时丢失 时尚。

有谁知道如何解决这个问题？

Answer 1

您需要检查互联网连接，或者如果您使用的是代理，请为代理身份验证设置环境变量。

在窗口中，请尝试以下步骤：

1. Win+R 类型"系统属性高级"（无引用）
2. 单击"环境变量..."按钮
3. 添加 2 个新变量（任一用户/系统变量都可以）：

姓名 |价值------------+-------------------------------- HTTP_PROXY |http：//username：password@host：portHTTPS_PROXY |https：//username：password@host：port

替代方法：设置代理环境