如何比较每个Scrapy蜘蛛项目与另一个Scrapy蜘蛛项目

Question

我需要一个解决方案来比较SecondSpider的每个项目与FirstSpider的所有项目。看看这个虚拟代码。

class FirstSpider(Spider):
    all_items = []
    def parse(self, response):
        trs = response.xpath("table tr")
        for tr in trs:
            item = SomeItem()
            item["one"] = "one"
            yield item
class SecondSpider(Spider):
    def parse(self, response):
        trs = response.xpath("table tr")
        for tr in trs:
            item = SomeItem()
            item["one"] = "one"
            if item in FirstSpider.all_items:
                yield item

谢谢!

Answer 1

我假设您的蜘蛛一个接一个地运行:FirstSpider收集所有数据，然后运行SecondSpider。在这种情况下，一种解决方案是将FirstSpider返回的所有项保存到一个临时文件中，然后在初始化SecondSpider时读入该文件。在这种情况下，您可以访问本地的所有数据，并可以对其进行过滤。

或者，您可以创建一个项管道，它从FirstSpider加载导出的项，并对SecondSpider返回的项进行过滤。