r语言 - 最快的方式来推算列均值与大数据

Question

我有一个大的数字数据集(约700行，350,000列)，作为数据读取。表中的R)包含一些NA的，我想用列的方式尽快取代。我发现之前的一篇文章用0代替了NA，但是当我把解修改为，输入列的意思，我得到j，列号。看来我一定错过了什么明显的东西……关于如何使用这种方法计算列的意思有什么建议吗?

大数据中NAs的最快替换方法。table

#original code
f_dowle3 = function(DT) {
     for(j in seq_len(ncol((DT)))
         set(DT,which(is.na(DT[[j]])),j,0)
 }
#modified code
impute = function(DT) {
     for(j in 2:ncol(DT))
         set(DT,which(is.na(DT[[j]])),j,mean(DT[,j],na.rm = TRUE))
 }
test_impute = fread("test_impute.csv")
test_impute
    ID snp1 snp2 snp3 snp4
 1:  1    2    1    1    0
 2:  2    2    2    0    0
 3:  3    2   NA    0   NA
 4:  4    2    1    2    0
 5:  5    2   NA    2    0
 6:  6    2    1    1    0
 7:  7    1    1   NA    0
 8:  8   NA    1    0    0
 9:  9    2    2    2   NA
10: 10    1    1    0    0

impute(test_impute)
test_impute
    ID snp1 snp2 snp3 snp4
 1:  1    2    1    1    0
 2:  2    2    2    0    0
 3:  3    2    3    0    5
 4:  4    2    1    2    0
 5:  5    2    3    2    0
 6:  6    2    1    1    0
 7:  7    1    1    4    0
 8:  8    2    1    0    0
 9:  9    2    2    2    5
10: 10    1    1    0    0

Answer 1

您不能使用dt1[, j]从数据表中抓取列。

dt1[, 1]
# [1] 1
dt1[, 2342]
# [1] 2342

将DT[, j]改为DT[[j]]修复

首先是一些数据:

set.seed(47)
n = 10
ncol = 10
dt1 = data.table(replicate(ncol, expr = {
    ifelse(runif(n) < 0.2, NA_real_, rpois(n, 10))
}))
impute1 = function(DT) {
    for (j in 2:ncol(DT))
        set(DT, which(is.na(DT[[j]])), j, mean(DT[[j]], na.rm = TRUE))
}
dt1
#     V1 V2 V3 V4 V5 V6 V7 V8 V9 V10
#  1:  6 11 10  7 13 10 12  8 13  12
#  2: 10  8 NA  7 16 10 10  8  5   5
#  3: 14  7  9  9 NA 13  9 NA 10  NA
#  4:  4  4 13 10  7 10 14  8 13  15
#  5:  7 NA  8 NA 12 NA 15 10 11   8
#  6:  6  9  7 15 NA  5 12 15 10   5
#  7:  4  9  5 NA 10 12  9  8 12  14
#  8: 12  8 NA  9  7 NA 11  4  8  11
#  9:  8 10 12 14 10 NA 11  9 10  10
# 10:  7  6 NA 13  8 14 11  6 10  NA
impute1(dt1)
dt1
#     V1 V2        V3   V4     V5       V6 V7        V8 V9 V10
#  1:  6 11 10.000000  7.0 13.000 10.00000 12  8.000000 13  12
#  2: 10  8  9.142857  7.0 16.000 10.00000 10  8.000000  5   5
#  3: 14  7  9.000000  9.0 10.375 13.00000  9  8.444444 10  10
#  4:  4  4 13.000000 10.0  7.000 10.00000 14  8.000000 13  15
#  5:  7  8  8.000000 10.5 12.000 10.57143 15 10.000000 11   8
#  6:  6  9  7.000000 15.0 10.375  5.00000 12 15.000000 10   5
#  7:  4  9  5.000000 10.5 10.000 12.00000  9  8.000000 12  14
#  8: 12  8  9.142857  9.0  7.000 10.57143 11  4.000000  8  11
#  9:  8 10 12.000000 14.0 10.000 10.57143 11  9.000000 10  10
# 10:  7  6  9.142857 13.0  8.000 14.00000 11  6.000000 10  10

另一种选择是预先计算列均值。colMeans非常快，所以这可能总体上更快，特别是当您拥有尽可能多的列时。

impute2 = function(DT) {
    means = colMeans(DT, na.rm = T)
    for (j in 2:ncol(DT))
        set(DT, which(is.na(DT[[j]])), j, means[j])
}

Answer 2

如果不想创建自己的函数，也可以使用其他的imputation包。

例如imputeTS:

library(imputeTS)
solution <- na.mean(yourDataframe)

其他包如mice也有类似的选项。

我猜你得测试一下，哪一个最快。