Celery或urllib3正在将我重定向到https

Question

我在通过urllib3发出请求时遇到问题。所以，我通过代理连接，并通过芹菜运行脚本。

urlib3设置：self.http = urllib3.ProxyManager('http://127.0.0.1:24000')

Urlib3请求：page = self.http.request('get', self.start_url, headers=self.headers)

在那之后，我在芹菜原木中看到了这样的东西：

[2019-11-19 16:13:54,038: INFO/ForkPoolWorker-2] Redirecting http://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/ -> https://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/

如何禁用此重定向？

Answer 1

它不是urllib3或芹菜，而是远程服务器。

$ curl -D- http://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/
HTTP/1.1 301 Moved Permanently
Content-Length: 0
Location: https://www.olx.pl/nieruchomosci/mieszkania/wynajem/wroclaw/
Expires: Tue, 19 Nov 2019 16:33:49 GMT
Cache-Control: max-age=0, no-cache, no-store
Pragma: no-cache
Date: Tue, 19 Nov 2019 16:33:49 GMT
Connection: keep-alive
Server: OLXcdn
X-T: True

正如你在那里看到的，服务器正在将你重定向到HTTPS，所以你不能在客户端禁用它。