Scrapy为中的每个URL创建Scrapy.http.Request对象的start_urls属性,并为它们分配解析方法作为它们的回调函数。
https://github.com/scrapy/scrapy/blob/master/scrapy/spider.py
这些文件的描述如上所述。但是我找不到调用parse((作为其回调函数的位置。
def parse(self, response):
raise NotImplementedError
有人能告诉我在哪里调用上面的函数吗?谢谢
它在scrapy/core/scraper.py
:中
def call_spider(self, result, request, spider):
result.request = request
dfd = defer_result(result)
dfd.addCallbacks(request.callback or spider.parse, request.errback)
return dfd.addCallback(iterate_spider_output)