R - 具有数据库连接的foreach永久冻结，没有错误

Question

library(doParallel)
library(RMySQL)
no_cores <- as.integer(system('getconf _NPROCESSORS_ONLN', intern = TRUE)) - 1
cluster <- makeCluster(no_cores)
registerDoParallel(cl)
clusterEvalQ(
cluster, 
mysql <- RMySQL::dbConnect(...)
}
)
r <- foreach(i = 1:50, .verbose = TRUE) %dopar% { dbGetQuery(mysql, 'show tables;')}
no variables are automatically exported

没有错误，没有抱怨。没什么，它只是冻结了。我可以在没有数据库连接的情况下启动和使用集群。

思潮？

Answer 1

什么时候挂起？调用clusterEvalQ或foreach循环时？

我有几点建议：

• 创建集群时使用outfile=""获取调试输出;
• 初始化集群时加载RMySQL;
• 从clusterEvalQ返回NULL以避免序列化连接对象;
• 请确保调用registerDoParallel以便任务不会在本地执行。

下面是使用这些建议的测试：

library(doParallel)
cl <- makePSOCKcluster(3, outfile="")
registerDoParallel(cl)
clusterEvalQ(cl, {
library(RMySQL)
mysql <- dbConnect(MySQL(), user='root',
password='notmypasswd', dbname='mysql')
NULL
})
r <-
foreach(i=1:50, .verbose=TRUE) %dopar% {
dbGetQuery(mysql, 'show tables;')
}

这个测试对我有用。当我运行它时，我看到如下消息：

no variables are automatically exported
numValues: 50, numResults: 0, stopped: TRUE
got results for task 1
numValues: 50, numResults: 1, stopped: TRUE
returning status FALSE
got results for task 2

如果您只看到：

no variables are automatically exported

然后它挂起，然后工作线程可能挂起，试图使用数据库连接执行查询。这对我来说听起来像是一个MySQL问题，但我不是MySQL专家。