r语言 - 使用 foreach 和 doSNOW 并行调用外部程序:如何导入结果?

Question

我正在使用R在具有多个节点和多个内核的集群上并行调用外部程序。外部程序需要三个输入数据文件并生成一个输出文件(所有文件都存储在同一个子文件夹中)。 为了并行运行程序(或者更确切地说是以并行方式调用它)，我最初将foreach函数与doParallel库一起使用。只要我只是在单个节点上使用多个内核，就可以正常工作。

但是，我想使用具有多个内核的多个节点。因此，我相应地修改了我的代码以将doSNOW库与foreach结合使用(我尝试了Rmpi和doMPI，但我没有设法在具有这些库的多个节点上运行代码)。 这工作正常，即外部程序现在确实在多个节点(具有多个内核)上运行，并且集群日志文件显示它产生了所需的结果。但是，我现在面临的问题是外部程序不再将结果/输出文件存储在主节点/工作目录的指定子文件夹中(当我使用doParallel时，它这样做了)。这使我无法将结果导入 R。

事实上，如果我检查相关文件夹的内容，它不包含任何输出文件，尽管日志文件清楚地表明外部程序成功运行。我想它们存储在不同的节点上(？我需要对foreach函数或集群设置方式进行哪些修改，才能将这些文件保存在工作目录中的主节点/指定子文件夹中？

这里有一些示例 R 代码，以展示我正在做的事情：

# #Set working directory in non-interactive mode
setwd(system("pwd", intern = T))

# #Load some libraries
library(foreach)
library(parallel)
library(doParallel)

# ####Parallel tasks####
# #Create doSNOW cluster for parallel tasks
library(doSNOW)
nCoresPerNode <- as.numeric(Sys.getenv("PBS_NUM_PPN"))
nodeNames <- system("cat $PBS_NODEFILE | uniq", intern=TRUE)
machines <- rep(nodeNames, each = nCoresPerNode)
cl <- makeCluster(machines, type = "SOCK")
registerDoSNOW(cl)
# #How many workers are we using?
getDoParWorkers()
#####DUMMY CODE#####
# #The following 3 lines of code are just dummy code: 
# #The idea is to create input files for the external program "myprogram"
external_Command_Script.cmd # #command file necessary for external program "myprogram" to run
startdata # #some input data for "myprogram"
enddata # #additional input data for "myprogram"
####DUMMY CODE######

# #Write necessary command and data files for external program: THIS WORKS!
for(i in 1:100)){
write(external_Command_Script.cmd[[i]], file=paste("./mysubfolder/external_Command_Script.",i,".cmd", sep=""))
write.table(startdata, file=paste("./mysubfolder/","startdata.",i,".txt", sep=""), col.names = FALSE, quote=FALSE)
write.table(enddata, file=paste("./mysubfolder/","enddata.",i,".txt", sep=""), col.names = FALSE, quote=FALSE)
}

# #Run external program "myprogram" in parallel: THIS WORKS!
foreach(i = 1:100)) %dopar% {
system(paste('(cd ./mysubfolder && ',"myprogram",' ' ,"enddata.",i,".txt ", "startdata.",i,".txt", sep="",' < external_Command_Script.',i,'.cmd)'))
}

# #Import results of external program: THIS DOES NOT WORK WHEN RUN ON MULTIPLE NODES!
results <- list()
for(i in 1:100)){
results[[i]] = read.table(paste("./mysubfolder/","enddata.txt.",i,".log.txt", sep=""), sep = "t",  quote=""", header = TRUE)
}
# #The import does NOT work as the files created by the external program are NOT stored on the master node/in the
# #subfolder of the working directory!
# #Instead I get the following error message:
# #sh: line 0: cd: ./mysubfolder: No such file or directory
# #Error in { : task 6 failed - "cannot open the connection"

我的集群 pbs 脚本如下所示：

#!/bin/bash
# request resources:
#PBS -l nodes=2:ppn=8
#PBS -l walltime=00:30:00
module add languages/R-3.3.3-ATLAS
export PBS_O_WORKDIR="/panfs/panasas01/gely/xxxxxxx/workingdirectory"
# on compute node, change directory to 'submission directory':
cd $PBS_O_WORKDIR
# run your program and time it:
time Rscript ./R_script.R

Answer 1

我想建议你研究一下批处理工具包。 它提供了与R的扭矩/PBS交互的方法。

如果你可以使用它的前身BatchJobs一段时间，我也建议你尝试一下，当你了解它是如何工作的时，看看doFuture foreach适配器。 这将允许您使用未来。批处理作业包。 这种未来，未来的组合。BatchJobs和BatchJobs允许您从R中执行所有操作，并且不必担心创建临时R脚本等(免责声明：我是两者的作者)。

设置完成后的外观示例：

## Tell foreach to use futures
library("doFuture")
registerDoFuture()
## Tell futures to use TORQUE / PBS with help from BatchJobs
library("future.BatchJobs")
plan(batchjobs_torque)

然后您使用：

res <- foreach(i = 1:100) %dopar% {
my_function(pathname[i], arg1, arg2)
}

这将评估单独 PBS 作业中的每次迭代，即您将看到 100 个作业添加到队列中。

未来。批处理作业小插图包含更多示例和信息。

更新 2017-07-30：future.batchtools 包自 2017 年 5 月起在 CRAN 上发布。现在建议使用此包，而不是将来。批处理作业。用法与上述非常相似，例如，您现在使用plan(batchtools_torque)代替plan(batchjobs_torque)。

Answer 2

问题解决：我犯了一个错误：外部程序实际上没有运行 - 我误解了日志文件。外部程序无法运行的原因是找不到子文件夹(包含必要的输入数据)。似乎集群默认为用户目录，而不是 pbs 提交脚本中指定的工作目录。这种行为与使用doParallel创建的集群不同，后者确实可以识别工作目录。因此，只需在 R 脚本中添加工作目录和子文件夹的相对路径即可解决问题，即./workingdirectory/mysubfolder/而不仅仅是./mysubfolder/.或者，您也可以使用文件夹的完整路径。