重试 python 请求模块挂起

Question

我不得不使用请求模块来获取大量的URL。由于网络错误，我想实现重试机制。所以我的代码看起来像这样：

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
import requests
session = requests.Session()
retry = Retry(total=1,backoff_factor=0.5,status_forcelist=(500,502,504,503))
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://',adapter)        
head_response = session.get(url,timeout=2)

但是，当 URL 为：tiffins.NET 时，代码会一直挂起。超时=2 的正常 requests.get 给出 503 状态代码，但不挂起。

我做错了什么吗？

我正在使用python 2.7.15rc1。

Answer 1

刚刚遇到了同样的问题，并发现这是因为网站的标题"重试后"。默认情况下，重试使用该值等待下一个请求。要忽略它，请在创建 Retry 对象时将 respect_retry_after_header 参数设置为 False。