r语言 - 当结果页面与搜索页面具有相同的URL时，我如何抓取结果页面?

Question

我正在抓取一个网站，这是结果页面。我一直在尝试使用"vest"包方法(在这篇博文中有很好的概述)，并且很困惑为什么它没有返回结果。我意识到这是因为我使用的URL是来自主搜索页面和结果页面的相同URL，所以当R打开URL时，它看不到我想从中抓取数据的搜索结果。

有别的办法吗?

非常感谢你的帮助!

Answer 1

您可以考虑基于RSelenium的方法:

library(RSelenium)
library(rvest)
url <- "https://www.dataquest.io/blog/web-scraping-in-r-rvest/"
shell('docker run -d -p 4445:4444 selenium/standalone-firefox')
remDr <- remoteDriver(remoteServerAddr = "localhost", port = 4445L, browserName = "firefox")
remDr$open()
remDr$navigate(url)
remDr$screenshot(TRUE)

您还可以考虑基于RDCOMClient的方法:

library(RDCOMClient)
url <- "https://www.dataquest.io/blog/web-scraping-in-r-rvest/"
IEApp <- COMCreate("InternetExplorer.Application")
IEApp[['Visible']] <- TRUE
IEApp$Navigate(url)
Sys.sleep(5)
doc <- IEApp$Document()