我正在使用scrapy,但我收到了以下url的错误
〔scrapy.spidermiddlewares.urlength〕调试:忽略链接(url长度>2083(:
当我在浏览器中复制并粘贴这个长url时,我会得到页面,没有问题。
有没有一种方法可以迫使scroy不要忽视那些长url的
非常感谢
在settings.py
文件中,为URLLENGTH_LIMIT
变量分配一个较大的值,例如。URLLENGTH_LIMIT=5000