如何避免从CME网页抓取时冻结?

Question

我试图从CME抓取数据，但代码似乎冻结在requests.get()函数。

import requests
from bs4 import BeautifulSoup
URL = 'https://www.cmegroup.com/markets/interest-rates/us-treasury/2-year-us-treasury-note.settlements.html'
page = requests.get(URL)

Answer 1

似乎他们正在检查user-agent

user - agent请求头是一个特征字符串，允许服务器和网络对等体识别请求用户代理的应用程序、操作系统、供应商和/或版本。

不是一个具体的，所以给他们你最喜欢的代理:

requests.get(URL, headers={'user-agent':'SALT'}).text

关于user-agent的更多信息请查看docs