r语言 - 避免冗余处理的 lapply() 和 mclapply() 版本



我正在寻找仅处理参数列表X的唯一元素的lapply()mclapply()版本。这样的东西已经存在了吗?

编辑:换句话说,我希望lapply()不要费心处理重复项,但我希望length(lapply(X, ...))等于length(X),而不是length(unique(X))(以及要匹配的适当值)。此外,我假设X的每个元素都相当小,因此获取唯一值应该不会太麻烦。

当前行为:

long_computation <- function(task){
  cat(task, "n")
# Sys.sleep(1000) # 
  return(task)
}
tasks <- rep(LETTERS[1:2], 2)
lapply(tasks, long_computation)
## A
## B
## A
## B
## [[1]]
## [1] "A"
## 
## [[2]]
## [1] "B"
## 
## [[3]]
## [1] "A"
## 
## [[4]]
## [1] "B"

期望的行为:

lapply(tasks, long_computation)

## A
## B
## [[1]]
## [1] "A"
## 
## [[2]]
## [1] "B"
## 
## [[3]]
## [1] "A"
## 
## [[4]]
## [1] "B"

您可以在此处找到预期的用例。

你可以

尝试这样的事情: 我创建了一个map对象,用于存储每个唯一"键"long_computation后的结果。一旦遇到现有的"键",它就会从其他调用long_computation函数map返回,并将结果存储在map中以备将来使用。不确定这是否是理想的方式,但它有效。

tasks <- rep(letters[1:2], 2)
map=list()
lapply(tasks,function(t){if(t %in% names(.GlobalEnv$map)){
    return(.GlobalEnv$map[[t]])
}else{
    result=toupper(t)
        if(!t %in% names(.GlobalEnv$map)){
            .GlobalEnv$map[[t]]=result
        }
    }
})

这实际上似乎有效:

lightly_parallelize_atomic <- function(X, FUN, jobs = 1, ...){
  keys <- unique(X)
  index <- match(X, keys)
  values <- mclapply(X = keys, FUN = FUN, mc.cores = jobs, ...)
  values[index]
}

就我而言,X是原子的没关系。

但是找到已经内置到包或 R 原生的东西会很好。

最新更新