无法使用Scrapy抓取某些链接

Question

我遇到了一个奇怪的错误。我无法抓取链接 https://www.example.com/2/

但是，我可以抓取链接 https://www.example.com/922/

附言我没有使用真正的链接，因为我的工作不允许我。不好意思。

Answer 1

当我尝试使用命令scrapy view https://www.example.com/2/调试它时，它显示了我期望的正确 HTML。当我通过Chrome检查器检查URL时，事实证明它给出了正确的HTML，但给出了错误500状态而不是200。我用蜘蛛中的handle_httpstatus_list = [500]解决了它。