R语言 如何配置将来下载更多文件?

Question

我有很多文件需要下载。

我正在使用download.file()功能和furrr::map并行下载，plan(strategy = "multicore").

请告知我如何为每个未来加载更多作业？

在 Ubuntu 18.04 上运行，具有 8 个内核。 R 版本 3.5.3。

这些文件可以是txt，zip或任何其他格式。 大小在 5MB - 40MB 之间变化。

Answer 1

使用 furrr 工作得很好。我想你的意思是furrr::future_map.使用multicore大大提高了下载速度(注意：在Windows上，multicore不可用，仅multisession。如果您不确定代码将在哪个平台上运行，请使用multiprocess)。

library(furrr)
#> Loading required package: future
csv_file <- "https://raw.githubusercontent.com/UofTCoders/rcourse/master/data/iris.csv"
download_template <- function(.x) {
temp_file <- tempfile(pattern = paste0("dl-", .x, "-"), fileext = ".csv")
download.file(url = csv_file, destfile = temp_file)
}
download_normal <- function() {
for (i in 1:5) {
download_template(i)
}
}
download_future_core <- function() {
plan(multicore)
future_map(1:5, download_template)
}
download_future_session <- function() {
plan(multisession)
future_map(1:5, download_template)
}
library(microbenchmark)
microbenchmark(
download_normal(),
download_future_core(),
download_future_session(),
times = 3
)
#> Unit: milliseconds
#>                       expr       min        lq      mean    median
#>          download_normal()  931.2587  935.0187  937.2114  938.7787
#>     download_future_core()  433.0860  435.1674  488.5806  437.2489
#>  download_future_session() 1894.1569 1903.4256 1919.1105 1912.6942
#>         uq       max neval
#>   940.1877  941.5968     3
#>   516.3279  595.4069     3
#>  1931.5873 1950.4803     3

创建于 2019-03-25 由 reprex 软件包 (v0.2.1)

请记住，我使用的是Ubuntu，所以使用Windows可能会改变事情，因为据我所知，未来不允许Windows上的多核。

我只是在这里猜测，但multisession速度较慢的原因可能是因为它必须在运行download.file函数之前打开多个 R 会话。我只是下载了一个非常小的数据集(iris.csv)，所以也许在需要更多时间的较大数据集上，打开 R 会话所需的时间将被下载较大文件所需的时间所抵消。

小更新：

您可以将数据集的 URL 向量传递到future_map以便它根据将来的包处理确定下载每个文件：

data_urls <- c("https:.../data.csv", "https:.../data2.csv")
library(furrr)
plan(multiprocess)
future_map(data_urls, download.file)
# Or use walk 
# future_walk(data_urls, download.file)