从 Scrapy Pipeline 发出非阻塞 HTTP 请求

Question

据我了解，Scrapy是单线程的，但在网络端是异步的。我正在研究需要从项目管道中对外部资源进行 API 调用的事情。有没有办法在不阻塞管道和减慢 Scrapy 爬行速度的情况下发出 HTTP 请求？

谢谢

Answer 1

您可以通过

crawler.engine.crawl(request, spider) 直接向crawler.engine调度请求来实现。要做到这一点，你需要在管道中公开爬虫：

class MyPipeline(object):
    def __init__(self, crawler):
        self.crawler = crawler
    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)
    def process_item(self, item, spider):
        if item['some_extra_field']:  # check if we already did below
            return item
        url = 'some_url'
        req = scrapy.Request(url, self.parse_item, meta={'item':item})
        self.crawler.engine.crawl(req, spider)
        raise DropItem()  # we will get this item next time
    def parse_item(self, response):
        item = response.meta['item']
        item['some_extra_field'] = '...'
        return item