R从https中的aspx下载获取网站,而不是CSV



警告:此处为新建。我希望得到一些指导。我正在努力进行投资,学习如何使用R来自动下载。

我需要什么:要从本网站下载所有县和报告期的页岩气井数据:https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCounty.aspx(注意,进入时可能会要求达成协议,这不是什么大不了的事)

我可以访问列出我想要下载的所有CSV文件的页面。不幸的是,该网站的地址与上述地址相同。(您可以尝试选择一个县和一个报告期,然后自己查看)

但是,一旦进入该页面,就会列出激活CSV下载的链接。对他们每个人来说都是这样的:https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&周期=1AUGU&country=阿勒格尼

我尝试过的:

library(downloader)
download ("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY",
          destfile="Prod_AUG15_Allegheny.csv")

我关注了另一个人在这里所做的事情:从R 中的aspx网页下载文档

问题:此命令保存网站而不是csv文件。

trying URL 'https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY'
Content type 'text/html; charset=utf-8' length 11592 bytes (11 Kb)
opened URL
downloaded 11 Kb

问题是:这与我的页面是https而不是http有关吗?有关于如何解决它或其他相关帖子的指导吗?(我可以在aspx下载上找到一些帖子,但没有任何帮助)

提前感谢

@hrbrmstr成功了!这不是我一开始想要的方式,但有了RSelenium,我可以点击接受协议的按钮,然后打开下载链接。

这是代码(很简单,但我花了一整天的时间才发现,真遗憾):

# Using RSelenium to save file
##Installing the package if needed
install.packages("RSelenium")
##Activating 
library("RSelenium")
checkForServer()
startServer()
#I had to start the server manually!
remDr <- remoteDriver()
remDr
remDr$open()
#open website and accepting conditions
remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Welcome/Agreement.aspx")
AgreeButton<-remDr$findElement(using = 'id', value="MainContent_AgreeButton")
AgreeButton$highlightElement()
AgreeButton$clickElement()
remDr$navigate("https://www.paoilandgasreporting.state.pa.us/publicreports/Modules/Production/ProductionByCountyExport.aspx?UNCONVENTIONAL_ONLY=false&INC_HOME_USE_WELLS=true&INC_NON_PRODUCING_WELLS=true&PERIOD=15AUGU&COUNTY=ALLEGHENY")

然而!!我无法保存csv文件:-(。我知道我需要一个"将链接另存为…"的命令,但我在另一个与RSelenium相关的主题中问这个问题。

我发现后会编辑答案!

最新更新