网站从网站刮擦从form(http://njdep.rutgers.edu/continuun/data.php)生成C

Question

我很有趣，可以从http://njdep.rutgers.edu/continuun/data.php删除数据集，以创建一个闪亮的应用程序，允许一个人搜索包含的数据在那个站点。

填写网站上的表格后，它可以生成.csv文件。无论如何，是否可以找出最早日期到最近状态的所有数据都存储在哪里，并使用R软件包或Python软件包提取它？

Answer 1

在浏览器中您可以右键单击并检查页面。单击"下载"按钮时，您可以在"网络"选项卡中查看基础REST API。它应该看起来像这样：

http://njdep.rutgers.edu/continuous/data/downloadData.php?affiliation=NJDEP+-+Marine+Water+Monitoring&project=-1&huc14=-1&county=-1&munis=-1&station_type=-1&station=-1&start_date=&end_date=&params=

如果您更改各种形式参数，则可以了解如何更改URL以获取不同的数据变化。然后，您可以使用像请求之类的软件包来获取Python中的数据。

import requests
url = 'your_modified_url'
res = requests.get(url)
res.raise_for_status()
data = res.content