HTTP重定向给出相同的url(原始)作为位置头

Question

我正在尝试从使用套接字的网站获取数据，我正在获得重定向，但重定向与以前的url相同

下面的代码工作得很好

import requests

r = requests.get('https://links.papareact.com/f90',
allow_redirects=False)

print(r.status_code)
print(r.headers["location"])

这里是输出Location头是新的url

301
http://pngimg.com/uploads/amazon/amazon_PNG11.png

下面是行为怪异的套接字代码

import socket
HOST = "links.papareact.com"
PORT = 80
path = "f90"
headers = f"GET /{path} HTTP/1.1rn" + 
f"Host: {HOST}rnrn"
connection = (HOST, PORT)
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(connection)
s.send(headers.encode())
while True:
data = s.recv(4096).decode().strip()
if data.endswith("rnrn") or not data:
break
print(data)

输出

HTTP/1.1 301 Moved Permanently
Date: Tue, 17 Aug 2021 09:15:33 GMT
Transfer-Encoding: chunked
Connection: keep-alive
Cache-Control: max-age=3600
Expires: Tue, 17 Aug 2021 10:15:33 GMT
Location: https://links.papareact.com/f90
Report-To: {"endpoints":[{"url":"https://a.nel.cloudflare.com/report/v3?s=0ptwEG6zbfCPDGYczBruC%2FNuMmmsfwqSd6emUpu2aRIa9JtNvIpV3rcWZjfdMrP7EV9EM94UxTx4XbEk4P6KBk4PIb%2BLxPrwitq1Fo10u%2FtGnJnCFqFFh8XGutpJsIy13zCaUYGf"}],"group":"cf-nel","max_age":604800}
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Server: cloudflare
CF-RAY: 6801cc6c5d301d14-BLR
alt-svc: h3-27=":443"; ma=86400, h3-28=":443"; ma=86400, h3-29=":443"; ma=86400, h3=":443"; ma=86400

这里的LocationHeader与前面的url相同

请解释为什么会发生这种情况以及获得预期结果的可能解决方案?(

Answer 1

这是行为怪异的套接字代码

没什么奇怪的。重定向是根据位置标头到https://(加密，端口443)，而您的原始请求是http://(未加密，端口80)。

这是一个很常见的网站行为，他们重定向一个普通的HTTP请求到相同的路径与HTTPS。如果您访问这个新的(HTTPS)位置，您可能会获得与requests.get('https://...相同的重定向，即到http://pngimg.com/uploads/amazon/amazon_PNG11.png。