Scrapy忽略url,因为它太长(超过2083个字符)



我正在使用scrapy,但我收到了以下url的错误

〔scrapy.spidermiddlewares.urlength〕调试:忽略链接(url长度>2083(:

当我在浏览器中复制并粘贴这个长url时,我会得到页面,没有问题。

有没有一种方法可以迫使scroy不要忽视那些长url的

非常感谢

settings.py文件中,为URLLENGTH_LIMIT变量分配一个较大的值,例如。URLLENGTH_LIMIT=5000

最新更新