R 和 MATLAB 上多维数组上的算术平均值:性能的巨大差异



我在R和MATLAB上使用多维数组,这些数组有五个维度(总共14.5M个元素)。我必须删除一个应用算术平均值的维度,我发现使用这两个软件的性能差异惊人。

马特实验室:

>> a = rand([144  73  10   6  23]);
>> tic; b = mean(a,3); toc
Elapsed time is 0.014454 seconds.

R:

> a = array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
> start <- Sys.time (); b = apply(a, c(1,2,4,5), mean); Sys.time () - start
Time difference of 1.229083 mins

我知道应用函数很慢,因为它类似于通用函数,但我不知道如何处理这个问题,因为这种性能差异对我来说真的是一个很大的限制。我试图搜索colMeans/rowMeans函数的泛化,但没有成功。

编辑我将展示一个小示例矩阵:

> dim(a)
[1] 2 4 3
> dput(aa)
structure(c(7, 8, 5, 8, 10, 11, 9, 9, 6, 12, 9, 10, 12, 10, 14, 
12, 7, 9, 8, 10, 10, 9, 8, 6), .Dim = c(2L, 4L, 3L))
a_mean = apply(a, c(2,3), mean)
> a_mean
     [,1] [,2] [,3]
[1,]  7.5  9.0  8.0
[2,]  6.5  9.5  9.0
[3,] 10.5 11.0  9.5
[4,]  9.0 13.0  7.0

编辑 (2):

我发现应用 sum 函数然后除以删除维度的大小肯定更快:

> start <- Sys.time (); aaout = apply(aa, c(1,2,4,5), sum); Sys.time () - start
Time difference of 5.528063 secs

在 R 中,apply 不是完成任务的正确工具。如果你有一个矩阵并且需要行或列均值,你会使用更快的矢量化rowMeanscolMeans。您仍然可以将这些用于多维数组,但您需要有点创意:

假设您的数组具有n维,并且您希望沿维度i计算平均值:

  1. 使用 aperm 将维度i移动到最后一个位置n
  2. rowMeansdims = n - 1一起使用

同样,您可以:

  1. 使用aperm将尺寸i移动到第一个位置
  2. colMeansdims = 1一起使用

a <- array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
means.along <- function(a, i) {
  n <- length(dim(a))
  b <- aperm(a, c(seq_len(n)[-i], i))
  rowMeans(b, dims = n - 1)
}
system.time(z1 <- apply(a, c(1,2,4,5), mean))
#    user  system elapsed 
#  25.132   0.109  25.239 
system.time(z2 <- means.along(a, 3))
#    user  system elapsed 
#   0.283   0.007   0.289 
identical(z1, z2)
# [1] TRUE

由于 S3 方法调度,mean速度特别慢。这更快:

set.seed(42)
a = array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
system.time({b = apply(a, c(1,2,4,5), mean.default)})
# user  system elapsed 
#16.80    0.03   16.94

如果你不需要处理NA,你可以使用内部函数:

system.time({b1 = apply(a, c(1,2,4,5),  function(x) .Internal(mean(x)))})
# user  system elapsed 
# 6.80    0.04    6.86

为了比较:

system.time({b2 = apply(a, c(1,2,4,5),  function(x) sum(x)/length(x))})
# user  system elapsed 
# 9.05    0.01    9.08 
system.time({b3 = apply(a, c(1,2,4,5),  sum)
             b3 = b3/dim(a)[[3]]})
# user  system elapsed 
# 7.44    0.03    7.47

(请注意,所有时间都只是近似值。正确的基准测试需要谨慎运行,例如,使用其中一个 bechmark 包。但我现在对此没有足够的耐心。

也许可以通过 Rcpp 实现来加速这一点。

最新更新