网页抓取 - 请求连接错误： ("连接中止"， OSError( "(60, 'ETIMEDOUT')" ，))

Question

我正在尝试访问一个网页。我尝试"UserAgent"添加标头，但出现超时错误：我的新代码：

from fake_useragent import UserAgent
import requests
url = "https://www.bestbuy.com/site/lg-65-class-oled-b9-series-2160p-smart-4k-uhd-tv-with-hdr/6360611.p?skuId=6360611"
ua = UserAgent()
print(ua.chrome)
header = {'User-Agent':str(ua.chrome)}
print(header)
url_get = requests.get(url, headers=header)
print(url_get)    

-->285引发SocketError(str(e((286，除OpenSSL.SSL.ZeroReturnError外，如e:

O错误：(60，"ETIMEDOUT"(

在处理上述异常的过程中，发生了另一个异常：

ProtocolError Traceback(最近一次调用为最后一次(/发送中的anaconda3/lib/python3.6/site-packages/requests/adapters.py(self、request、stream、timeout、verify、cert、proxys(439次重试＝self-max_ retries，-->440超时=超时441(

-->285引发SocketError(str(e((286，除OpenSSL.SSL.ZeroReturnError外，如e:

ProtocolError:('连接中止'，OSError("(60，'ETIMEDOUT'("，(

在处理上述异常的过程中，发生了另一个异常：

Answer 1

您不需要使用fake_useragent，只需尝试一些类似的。。。传递代理cookie变量以请求

import requests
url = "https://www.bestbuy.com/site/lg-65-class-oled-b9-series-2160p-smart-4k-uhd-tv-with-hdr/6360611.p?skuId=6360611"
agent = {"User-Agent":'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'}
cookies = {"cookie":"COPY_HERE_YOUR_COOKIE_FROM_BROWSER"}
url_get = requests.get(url,headers=agent, cookies=cookies)
print(url_get.text)

如果你不知道如何获取cookie，只需在浏览器中单击鼠标右键(Chrome示例(->检查>网络。。。当您加载web时，查看第一个请求并查看标头。这个代码对我有效。