scratchy使用parse()作为回调函数,但我找不到调用它的位置



Scrapy为中的每个URL创建Scrapy.http.Request对象的start_urls属性,并为它们分配解析方法作为它们的回调函数

https://github.com/scrapy/scrapy/blob/master/scrapy/spider.py

这些文件的描述如上所述。但是我找不到调用parse((作为其回调函数的位置。

def parse(self, response): raise NotImplementedError

有人能告诉我在哪里调用上面的函数吗?谢谢

它在scrapy/core/scraper.py:中

def call_spider(self, result, request, spider):
    result.request = request
    dfd = defer_result(result)
    dfd.addCallbacks(request.callback or spider.parse, request.errback)
    return dfd.addCallback(iterate_spider_output)

最新更新