Json美国证券交易委员会(SEC)刮削

Question

我试图在python 3上抓取sec的json页面，但我一辈子都无法获得json代码，我总是会遇到json解码错误和页面的HTML代码(我是python新手(。这是我的代码：

import requests
base_url = r"https://data.sec.gov/api/xbrl/companyfacts/CIK"
CIK = "0000320193"
json_index = ".json"
url = base_url + CIK + json_index
content = requests.get(url)
decoded_content = content.json()

非常感谢你的帮助！

Answer 1

您只需要在请求中添加一个标题，使其看起来像是来自真实浏览器，就可以覆盖您的跟踪，我复制了我的Chrome用户代理并使用了它：

import requests
headers =   {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
url = 'https://data.sec.gov/api/xbrl/companyfacts/CIK0000320193.json'
resp = requests.get(url,headers=headers).json()
print(resp)