Scrapy get重定向到遵循302，并且不会抓取该网站

Question

Scrapy 将 302 重定向到另一个链接。在链接中'https://xxxxxx.queue-it.net?c.....com'Scrapy没有添加"/"。应该是'https://xxxxxx.queue-it.net/?c.....com'.

我尝试在 middleware.py 中添加"/"。在下载器中间件功能下。但是，它不起作用。 当我手动添加带有"/"的重定向链接时，爬行。但是，它不是很动态。

Answer 1

在特定请求中设置'dont_redirect': True或通过REDIRECT_ENABLED设置设置为False来全局禁用重定向。