Scrapy在分页中提供了不明确的结果

Question

我创建了一个进行分页的scratchy spider。使用来自同一网站的具有不同链接的相同脚本和分页被"停止"；过滤的异地请求"；。打开功能"；dont_filter"；在scratchy中，Request在页面上运行到infity循环。想知道一个脚本如何在没有任何更改的情况下提供不同的结果？

Answer 1

您应该提供您的代码，这样我们才能提供更多帮助。

确保您的spider的字段allowed_domains中只有域。例如：

class MySpider(scrapy.Spider):
name = 'example'
allowed_domains = ['example.com'] # Don't use 'https://example.com/some/path/here'
start_urls = ['https://example.com/some/path/here']

显然，allowed_domains中的域必须与您正在创建请求的域相匹配。

您也可以完全删除此属性。有关allowed_domains的更多详细信息，请点击此处。