r语言 - 并行化函数采用外部指针 (XPtr)

Question

这个问题既不是这个问题的重复，也不是这个是关于返回外部指针的函数。

这就是问题所在。Rcpp 代码定义了两个函数，一个用于创建 XPtr，另一个可以在 XPtr 上运行。

#include <Rcpp.h>
using namespace Rcpp;
//[[Rcpp::export]]
SEXP f(int n) {
  std::vector<int> * v = new std::vector<int>;
  for(int i = 0; i < n; i++)
    v->push_back(i);
  XPtr< std::vector<int> > p(v, true);
  return p;
}
//[[Rcpp::export]]
int g(XPtr< std::vector<int> > p, int i) {
  return (*p)[i];

它工作正常：

> x <- f(100)
> g(x, 45)
[1] 45

让我们尝试并行化对g的调用。这有效：

require(parallel)
test1 <- function(a) {
  cl <- makeForkCluster(nnodes=2)
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

预期行为：

> unlist( test1(x) )
[1] 1 2 3 4 5

但这不起作用：

test2 <- function(a) {
  cl <- makeForkCluster(nnodes=2)
  p <- g(a, 0)
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

意外行为：

> test2(x)
Error in checkForRemoteErrors(val) : 
  2 nodes produced errors; first error: external pointer is not valid

问题似乎是由于在调用集群中的从属服务器之前，外部指针在函数中使用一次。什么解释了这种行为，是否有解决方法？提前非常感谢。

Answer 1

在函数的开头，a是一个承诺，即在某个环境中计算某个表达式的东西。访问变量时，将计算表达式，因此现在a是一个指针，并且该指针特定于特定的 R 实例。您可以使用pryr::promise_info查看以下内容：

test2 <- function(a) {
  cl <- makeForkCluster(nnodes = 2)
  print(pryr::promise_info(a))
  p <- g(a, 0)
  print(pryr::promise_info(a))
  stopCluster(cl)
  return(r)
}

输出：

$code
x
$env
<environment: R_GlobalEnv>
$evaled
[1] FALSE
$value
NULL
$code
x
$env
NULL
$evaled
[1] TRUE
$value
<pointer: 0x565295e3a410>

一种方法是使用 eval(substitute(a)) ：

test2 <- function(a) {
  cl <- makeForkCluster(nnodes = 2)
  print(pryr::promise_info(a))
  p <- g(eval(substitute(a)), 0)
  print(pryr::promise_info(a))
  r <- parLapply(cl, 1:5, function(i) g(a,i) )
  stopCluster(cl)
  return(r)
}

我相信有更好的方法。非标评价对我来说还是有点陌生...