一个项目中蜘蛛的不同项目管道

Question

我想有一个包含两个蜘蛛的scrapy项目。我希望每个项目的管道配置不同。

任何帮助将不胜感激，我试图谷歌的解决方案或任何工作。我没有发现任何有意义的东西。

Answer 1

您可以使用spider自定义设置来实现:

import scrapy
from project.pipelines import Pipeline1, Pipeline2
class Spider1(scrapy.Spider):
name = 'spider1'
custom_settings = {
'ITEM_PIPELINES':{
Pipeline1: 100
}
...
class Spider2(scrapy.Spider):
name = 'spider2'
custom_settings = {
'ITEM_PIPELINES':{
Pipeline2: 100
}
...