我在R和MATLAB上使用多维数组,这些数组有五个维度(总共14.5M个元素)。我必须删除一个应用算术平均值的维度,我发现使用这两个软件的性能差异惊人。
马特实验室:
>> a = rand([144 73 10 6 23]);
>> tic; b = mean(a,3); toc
Elapsed time is 0.014454 seconds.
R:
> a = array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
> start <- Sys.time (); b = apply(a, c(1,2,4,5), mean); Sys.time () - start
Time difference of 1.229083 mins
我知道应用函数很慢,因为它类似于通用函数,但我不知道如何处理这个问题,因为这种性能差异对我来说真的是一个很大的限制。我试图搜索colMeans/rowMeans函数的泛化,但没有成功。
编辑我将展示一个小示例矩阵:
> dim(a)
[1] 2 4 3
> dput(aa)
structure(c(7, 8, 5, 8, 10, 11, 9, 9, 6, 12, 9, 10, 12, 10, 14,
12, 7, 9, 8, 10, 10, 9, 8, 6), .Dim = c(2L, 4L, 3L))
a_mean = apply(a, c(2,3), mean)
> a_mean
[,1] [,2] [,3]
[1,] 7.5 9.0 8.0
[2,] 6.5 9.5 9.0
[3,] 10.5 11.0 9.5
[4,] 9.0 13.0 7.0
编辑 (2):
我发现应用 sum 函数然后除以删除维度的大小肯定更快:
> start <- Sys.time (); aaout = apply(aa, c(1,2,4,5), sum); Sys.time () - start
Time difference of 5.528063 secs
在 R 中,apply
不是完成任务的正确工具。如果你有一个矩阵并且需要行或列均值,你会使用更快的矢量化rowMeans
和colMeans
。您仍然可以将这些用于多维数组,但您需要有点创意:
假设您的数组具有n
维,并且您希望沿维度i
计算平均值:
- 使用
aperm
将维度i
移动到最后一个位置n
- 将
rowMeans
与dims = n - 1
一起使用
同样,您可以:
- 使用
aperm
将尺寸i
移动到第一个位置 - 将
colMeans
与dims = 1
一起使用
a <- array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
means.along <- function(a, i) {
n <- length(dim(a))
b <- aperm(a, c(seq_len(n)[-i], i))
rowMeans(b, dims = n - 1)
}
system.time(z1 <- apply(a, c(1,2,4,5), mean))
# user system elapsed
# 25.132 0.109 25.239
system.time(z2 <- means.along(a, 3))
# user system elapsed
# 0.283 0.007 0.289
identical(z1, z2)
# [1] TRUE
由于 S3 方法调度,mean
速度特别慢。这更快:
set.seed(42)
a = array(data = runif(144*73*6*23*10), dim = c(144,73,10,6,23))
system.time({b = apply(a, c(1,2,4,5), mean.default)})
# user system elapsed
#16.80 0.03 16.94
如果你不需要处理NA
,你可以使用内部函数:
system.time({b1 = apply(a, c(1,2,4,5), function(x) .Internal(mean(x)))})
# user system elapsed
# 6.80 0.04 6.86
为了比较:
system.time({b2 = apply(a, c(1,2,4,5), function(x) sum(x)/length(x))})
# user system elapsed
# 9.05 0.01 9.08
system.time({b3 = apply(a, c(1,2,4,5), sum)
b3 = b3/dim(a)[[3]]})
# user system elapsed
# 7.44 0.03 7.47
(请注意,所有时间都只是近似值。正确的基准测试需要谨慎运行,例如,使用其中一个 bechmark 包。但我现在对此没有足够的耐心。
也许可以通过 Rcpp 实现来加速这一点。