r语言 - 网页抓取多个页面问题

Question

我正在尝试使用 R 代码从以下站点中抓取前 4 页用于教育目的：

https://www.boliga.dk/salg/resultater?searchTab=1&page=3&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street=

{r}
library(rvest)
library(purrr)
library(tidyverse)
url_base <- "https://www.boliga.dk/salg/resultater?searchTab=1&page=%d&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street="
map_df(1:4,function(i){
page <- read_html(sprintf(url_base,i))
data.frame(Address = html_text(html_nodes(page,".font-weight-bolder.text-left")))
}) -> Address_map
View(Address_map)

这段代码的唯一问题是它实际上并没有向我显示前 4 页，而是为我提供了四次第一页。

我希望你能帮助解决这个小问题。

Answer 1

该页面使用 javascript 调用 API，您可以访问数据，以 JSON 格式，就像第一页一样：jsonlite::fromJSON("https://api.boliga.dk/api/v2/sold/search/results?searchTab=1&page=1&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street=")

要将所有 4 页放在一起，请尝试以下操作：

library(dplyr)
library(jsonlite)
url_base <- "https://api.boliga.dk/api/v2/sold/search/results?searchTab=1&page=%d&sort=date-d&zipcodeFrom=1000&zipcodeTo=2499&street="
Address_map <-lapply(1:4,function(i){
print(i)
# pause to prevent attacking the server
Sys.sleep(2)
#retrieve the results data frame from the returned data structure
fromJSON(sprintf(url_base, i))$result
}) 
#bind everything together
answer <- bind_rows(Address_map)

Answer 2

看看如果将sprintf(url_base,2)的结果粘贴到浏览器中会发生什么，它会在表 1 中加载网站。所以我认为你不能用rvest抓取这些数据，你需要一个像RSelenium这样的包来抓取这些数据。使用RSelenium您可以访问网站，然后移动到第二个表等。