我已经测试过我的shell适用于其他网站，但拒绝在目标上工作。
raise self.value.with_traceback(self.tb)
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]
看起来该网站忽略了基于您的用户代理字符串的请求。
这有效：
scrapy shell target.com.au --nolog --set=USER_AGENT=Mozilla