我计划从SEC EDGAR下载基本数据(现金流,收入,资产负债表等) - 我计划下载标准普尔500指数中的所有股票。有谁知道可以使用FTP下载的数据/文件总量是否有上限。可下载的数据是否有每日限制。
提前谢谢。
您能够获得所需的数据/文件 - FTP的时间已经不多了。美国证券交易委员会宣布将在年底永久终止FTP服务。
https://www.sec.gov/edgar/searchedgar/ftpusers.htm
与此同时,听起来他们只是要求你保持礼貌:
为了保持公平的服务器访问,我们要求在东部时间晚上 9 点到早上 6 点之间执行批量 FTP 传输请求。请使用高效的脚本,仅下载所需的内容并间隔请求以最大程度地减少服务器负载。
当 ftp 关闭时,我使用这样的基本 url 来下载文件。
base_url = "https://www.sec.gov/cgi-bin/browse-edgar?action=getcompany&CIK="+str(cik)+"&type="+str(type)+"&dateb="+str(priorto)+"&owner=exclude&output=xml&count="+str(count)
您只需要在看到 str(*) 的所有位置填写相关信息即可。
我没有遇到任何限制,除非 SEC 管理员在我同时发送多个请求时阻止我。为了避免这种情况,我在每个请求之间放置了sleep(0.5)
。
关于关闭ftp,您可以将URI的ftp://ftp.sec.gov/
部分替换为https://www.sec.gov/Archives/
,并以与以前几乎相同的方式继续下载。