在 scrapy 中调用几个回调函数

Question

我正在使用scrapy，我有几个问题：

第一个问题：我把start_requests放在一个循环中，但函数不是从每次迭代开始

的

第二个问题：我需要调用与循环给出的start_urls相关的不同回调，但我无法为回调提供动态名称。我想放回调=parse_i，我来自上面的循环。

liste [[liste1],[liste2],[liste3]]
for i in range (0, 2):
    start_urls = liste[i]
    def start_requests(self):
        #print(self.start_urls)
        for u in self.start_urls:
            try:
                req = requests.get(u)
            except requests.exceptions.ConnectionError:
                print("Connection refused")
            if req.status_code != 200:
                print("Request failed, status code is :", req.status_code)
                continue
            yield scrapy.Request(u, callback=self.parse, meta={'dont_merge_cookies': True}, dont_filter=False)

谢谢

Answer 1

我需要调用与循环给出的start_urls相关的不同回调，但我无法为回调提供动态名称。我想把callback=parse_i和i来自上面的循环。

回调属性只需要是一个可调用对象，所以你可以像平常一样使用 getattr：

my_callback = getattr(self, 'parse_{}'.format(i))
yield Request(u, callback=my_callback)

---

另外，虽然您没有问这个问题，但从start_requests内部进行 URL 调用是非常不寻常的，因为 （a） 这就是为什么人们会使用 Scrapy 来处理所有非 200 的东西和 （b） requests这样做不会尊重任何限制、代理、用户代理、恢复或其他旋钮的主机，人们希望影响抓取作业。