并行处理.Foraech和for循环



我想生成一个矩阵,我把生成过程放在下面。但它浪费了太多时间。有没有其他方法可以使用foreach和并行处理更快地获得相同的结果?

"quot">

library("foreach")
library("doParallel")
lambdas=seq(0.01,7, by = 0.01)
cl <- makeCluster(2) # create a cluster with 2 cores
registerDoParallel(cl) # register the cluster
nlambdas <-foreach(i = 1:1, .inorder=FALSE ,.combine = 'cbind', .multicombine=TRUE, .packages = "quantreg") %dopar% {
first<-rep()
second<-rep()
third<-rep()
fourth<-rep()
for (m in 1:700) {
for (j in 1:700) {
for (n in 1:700) {
for (k in 1:700) {
first<-rbind(first,lambdas[m])
second<-rbind(second,lambdas[j])
third<-rbind(third,lambdas[n])
fourth<-rbind(fourth,lambdas[k])
}      
}
}
}
lambda_total<-cbind(first,second,third,fourth)
}
stopCluster(cl)

"quot">

您不需要并行处理,只需要一个复杂度小于(O**4(且运算缓慢的算法来组成这个矩阵。

通过对四个向量进行重复排序,可以容易地构建相同的矩阵。然而,在您的情况下,对于700**4=2.4e+11个元素,这可能需要一些时间。

我用矢量lambdas中只有7个不同的值(总共2401个元素(来说明该算法。

nsteps = 7
lambdas = seq(0.01,7,(7/nsteps))
h = rep(lambdas,nsteps**3)
i = rep(lambdas,nsteps**3)
j = rep(lambdas,nsteps**3)
k = rep(lambdas,nsteps**3)
ordering = order(k)
k = k[ordering]
k = k[ordering]
k = k[ordering]
k = k[ordering]
j = j[ordering]
j = j[ordering]
j = j[ordering]
i = i[ordering]
i = i[ordering]
h = h[ordering]
lambdas.total = cbind(first=h,second=i,third=j,fourth=k)

如果你的内存足够大,可以对长度>10**10,您可以在短时间内完成lambda的700个步骤。不需要任何for循环。

最新更新