在我的网站上,一些url是不可抓取的,并且返回非200响应代码。
这是因为它们被重定向了。
Example: https://mywebsite.com/fr -> https://mywebsite.com/fr/
当我爬行https://mywebsite.com/fr/时,它返回200,但不返回https://mywebsite.com/fr。
网站使用django构建。
我不知道如何使https://mywebsite.com/fr返回200个代码。
请建议。
您可以通过将此配置添加到您的settings.py文件
来修复将您重定向到以斜杠结尾的URL的问题。APPEND_SLASH = False