网站抓取不工作的网站使用python

Question

我的代码一直在运行，没有任何结果

import requests
import  pandas as pd
url = 'http://www.cmegroup.com/markets/agriculture/livestock/pork-cutout.quotes.html'
Data = requests.get(url)
print (Data)

Answer 1

该站点似乎存在问题，特别需要标头信息。我在这里找到了一个对我有效的解决方案：

requests.get在python中给出连接超时错误

import requests
import  pandas as pd
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}
url = 'http://www.cmegroup.com/markets/agriculture/livestock/pork-cutout.quotes.html'
Data = requests.get(url, timeout=15, verify=False, allow_redirects=True,headers=headers)
print(Data.content)

Answer 2

在这种情况下，程序基本上请求页面，然后将请求的数据存储在data变量中。之后不对变量进行任何处理。为了用它做点什么，你可以做一些类似的事情

print(Data)

这将显示变量内部的内容。如果在vscode中添加断点，也可以使用调试工具，例如vscode中的调试工具。