R with parallel & pls - 如何在Windows中处理非终止的Rscript进程

Question

我想在 R 中运行多个偏最小二乘模型，并试图利用并行包。但是，在运行我的代码后，我可以在任务管理器中看到 Rscript 的实例，除非我关闭 RStudio，否则这些实例不会终止。这些 Rscipts 是一个问题，因为如果我执行太多迭代，它们会占用我计算机上的所有可用内存，并基本上将其磨成停止。

有谁知道如何处理这些挥之不去的 Rscripts(或者可以指出我的代码中的错误，我是 R 新手(？

下面是我的示例代码：

library(pls)       #Package for PLS regression and MSC
library(parallel)  #Allows for multi-core computations for cross-validation calculations
data(gasoline)
#Parallel Computing setup
num_cores <- 2
Made_Cluster = makeCluster(num_cores, type = "PSOCK")
num_iterations <- 10
for (i in 1:num_iterations) {
pls.options(parallel = makeCluster(num_cores, type = "PSOCK"))
gas1 <- plsr(octane ~ NIR, data = gasoline, validation = "LOO")
}
stopCluster(Made_Cluster)

我已经确认，在循环中放置 makeCluster 和 StopCluster 命令会产生相同的 Rscript，这些脚本不会终止。即使num_cores <- 1

library(pls)       #Package for PLS regression and MSC
library(parallel)  #Allows for multi-core computations for cross-validation calculations
data(gasoline)
#Parallel Computing setup
num_cores <- 1
num_iterations <- 10
for (i in 1:num_iterations) {
Made_Cluster = makeCluster(num_cores, type = "PSOCK")
pls.options(parallel = makeCluster(num_cores, type = "PSOCK"))
gas1 <- plsr(octane ~ NIR, data = gasoline, validation = "LOO")
stopCluster(Made_Cluster)
}

最后，终端显示有关未使用连接的奇怪消息。这些警告表现出不同的语法，我无法始终如一地重现它们。以下是几个示例：

Warning messages:
1: In if (!is.vector(X) || is.object(X)) X <- as.list(X) :
closing unused connection 4 (<-mycomputer:port#)
2: In is.data.frame(x) :
closing unused connection 13 (<-mycomputer:port#)
3: In crossprod(q.a) :
closing unused connection 17 (<-mycomputer:port#)

这是我的会话信息((

Rstudio 
$version
[1] ‘1.1.456’
R version 3.5.1 (2018-07-02)
Platform: x86_64-w64-mingw32/x64 (64-bit)
Running under: Windows 7 x64 (build 7601) Service Pack 1
Matrix products: default
locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252   
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C                          
[5] LC_TIME=English_United States.1252    
attached base packages:
[1] parallel  stats     graphics  grDevices utils     datasets  methods   base     
other attached packages:
[1] pls_2.6-0
loaded via a namespace (and not attached):
[1] compiler_3.5.1 tools_3.5.1  

Answer 1

你只想创建一个"集群"对象(=一个对makeCluster()的调用，而不是多个(。 像这样：

cl <- makeCluster(num_cores, type = "PSOCK")
pls.options(parallel = cl)
[...]
for (i in 1:num_iterations) {
gas1 <- plsr(octane ~ NIR, data = gasoline, validation = "LOO")
}
stopCluster(cl)

观察结果说明：如果使用pls.options(parallel = makeCluster(...))最终会在该调用中创建另一个集群，该集群不会显式停止，因为您没有它的句柄。 当 R 的垃圾回收器发现这样的"杂散"集群时，它的基础连接最终将被关闭 - 这就是您收到这些警告的原因/时间。 如果将pls.options(parallel = makeCluster(...))放入循环中，则每次迭代将创建一个杂散群集，并且会收到更多警告。 垃圾回收器以"随机"时间运行，这就是为什么这些警告的回溯显示为随机/不可重现的原因。