从API分析数据-获取所有数据的最佳方式



我正在尝试从https://data.pa.gov/Public-Safety/Crash-Incident-Details-CY-1997-Current-Annual-Coun/dc5b-gebx使用API,此处提供文档。https://dev.socrata.com/docs/paging.html。

当尝试使用python来完成这项工作时,我只能获得默认数量的记录,如下所示。

response = requests.get("https://data.pa.gov/resource/dc5b-gebx.json?limit=50000")
data = response.json()
pd.DataFrame(data)

当使用Limit时,api不会返回值。

我想返回尽可能多的值(如果不是全部的话(来进行分析项目。有点困惑,我很感激这里的帮助-谢谢!

如api中所述,您忘记了"$",您应该请求

https://soda.demo.socrata.com/resource/earthquakes.json?$limit=5000.

您还可以请求更多,即

https://soda.demo.socrata.com/resource/earthquakes.json?$limit=100000

但这只返回10820个结果(不确定这是极限还是整个数据集(。

(你可以使用https://data.pa.gov/resource/dc5b-gebx.json?$limit=5对于您的数据集,但这需要更长的时间来加载,所以我不确定限制(

最新更新