r语言 - 打开集群中所有节点的所有cpu: snow/snow package

Question

我正在一个集群上工作，我使用snowfall包在5个节点上建立一个socket集群，每个节点有40个cpu，使用以下命令:

 > sfInit(parallel=TRUE, cpus = 200, type="SOCK", socketHosts=c("host1", "host2", "host3", "host4", "host5"));
 R Version:  R version 3.1.0 (2014-04-10) 
 snowfall 1.84-6 initialized (using snow 0.3-13): parallel execution on 5 CPUs.

当我检查集群报告时，我看到slave的负载比预期的要低得多，并且因为它说"在5个cpu上并行执行"而不是"在200个cpu上并行执行"而感到不安。这仅仅是对CPU的模糊引用，还是每个主机只运行一个CPU ?

编辑:这里有一个例子，为什么这与我有关，如果我只使用本地机器并指定最大内核数，我有:

 > sfInit(parallel=TRUE, type="SOCK", cpus = 40);
 snowfall 1.84-6 initialized (using snow 0.3-13): parallel execution on 40 CPUs.

我在单节点40 CPU集群上运行相同的作业，它花了1.4分钟，而5节点5 CPU集群花了5.22分钟。对我来说，这证实了我的怀疑，我在5个节点上并行运行，但每个节点上只打开1个cpu。

我的问题是:如何在所有可用节点上打开所有cpu ?

EDIT: @SimonG我使用底层snow包的初始化，我们可以清楚地看到只有5个节点被打开:

 > cl <- makeSOCKcluster(names = c("host1", "host2", "host3", "host4", "host5"), count = 200)
 > clusterCall(cl, runif, 3)
 [[1]]
 [1] 0.9854311 0.5737885 0.8495582
 [[2]]
 [1] 0.7272693 0.3157248 0.6341732
 [[3]]
 [1] 0.26411931 0.36189866 0.05373248
 [[4]]
 [1] 0.3400387 0.7014877 0.6894910
 [[5]]
 [1] 0.2922941 0.6772769 0.7429913
 > stopCluster(cl)
 > cl <- makeSOCKcluster(names = rep("localhost", 40), count = 40)
 > clusterCall(cl, runif, 3)
 [[1]]
 [1] 0.6914666 0.7273244 0.8925275
 [[2]]
 [1] 0.3844729 0.7743824 0.5392220
 [[3]]
 [1] 0.2989990 0.7256851 0.6390770     
 [[4]]
 [1] 0.07114831 0.74290601 0.57995908
 [[5]]
 [1] 0.4813375 0.2626619 0.5164171
 .
 .
 .
 [[39]]
 [1] 0.7912749 0.8831164 0.1374560
 [[40]]
 [1] 0.2738782 0.4100779 0.0310864

我认为这很清楚地说明了这一点。我绝望地试了试:

 > cl <- makeSOCKcluster(names = rep(c("host1", "host2", "host3", "host4", "host5"), each = 40), count = 200)

，可预见地得到:

 Error in socketConnection(port = port, server = TRUE, blocking = TRUE,  : 
   all connections are in use

Answer 1

仔细阅读snow文档后，我提出了一个(部分)解决方案。

我读到分布式R版本一次只能打开128个连接，并且发现这是真的。我可以在每个节点上打开25个cpu，但是如果我尝试在每个节点上启动26个cpu，集群将无法启动。下面是需要传递给makeCluster的主机列表的适当结构:

> library(snow);
> unixHost13 <- list(host = "host1");
> unixHost14 <- list(host = "host2");
> unixHost19 <- list(host = "host3");
> unixHost29 <- list(host = "host4");
> unixHost30 <- list(host = "host5");
> kCPUs <- 25;
> hostList <- c(rep(list(unixHost13), kCPUs), rep(list(unixHost14), kCPUs),               rep(list(unixHost19), kCPUs), rep(list(unixHost29), kCPUs), rep(list(unixHost30), kCPUs));
> cl <- makeCluster(hostList, type = "SOCK")
> clusterCall(cl, runif, 3)
[[1]]
[1] 0.08430941 0.64479036 0.90402362
[[2]]
[1] 0.1821656 0.7689981 0.2001639
[[3]]
[1] 0.5917363 0.4461787 0.8000013
.
.
.
[[123]]
[1] 0.6495153 0.6533647 0.2636664
[[124]]
[1] 0.75175580 0.09854553 0.66568129
[[125]]
[1] 0.79336203 0.61924813 0.09473841

我发现一个参考说，为了提高连接，R需要重建与NCONNECTIONS设置更高(见这里)。