我用来将稀疏数据存储在具有DynamicColumns结构的MariaDB表中。 当我将其导入R时，我得到以下db_frame数据框：
db_frame <- dbGetQuery(mydb, "SELECT uid, column_json(groups) FROM matrix")
db_frame
uid column_json(groups)
1 8 {"33755311":1,"58534882":1}
2 9 {"75338985":1}
3 15 {"5445504":1,"58534882":1}
4 16 {"14897324":1,"22522055":1,"68471405":1}
5 20 {"22522055":1,"48940689":1}
我的目标是将其从上面的压缩行存储转换为以下稀疏格式(！矩阵：
14897324 22522055 33755311 48940689 5445504 58534882 68471405 75338985
8 . . 1 . . 1 . .
9 . . . . . . . 1
15 . . . . 1 1 . .
16 1 1 . . . . 1 .
20 . 1 . 1 . . . .
我以两种方式做到这一点，但在我看来，这两种方式都非常低效。 在现实生活中，变量(列)的数量约为2-3K，观测值(行)的数量~100万。所以我的两种方法都需要很长时间才能完成工作(几天)。
有没有其他更优雅的方式来进行这种转换？ 提前谢谢你！
UPD：有指向两个 R 格式的数据帧的链接：
- db_frame - 示例 5 观测值中的数据框
- db_frame_10K - 具有 10K 观测值的真实数据帧，用于速度测试
UPD2：具有 10K 观察
功能的转换数据帧的速度比较表酷睿 i3 2.93 Ghz
方法1 我的162-188秒 方法2 我的94-102秒 方法3 @amatsuo_net 47-57 秒(但不完全需要的格式) 方法4 @amatsuo_net+我的6秒
供您参考，我的两种方法：
第一步是将数据框转换为更友好的列表db_frame以便能够从中提取每个观测值的变量名称。
library("rjson")
var_list <- lapply(db_frame[,-1],fromJSON)
var_list_names <- lapply(var_list,names)
var_list_names
[[1]]
[1] "33755311" "58534882"
[[2]]
[1] "75338985"
[[3]]
[1] "5445504" "58534882"
[[4]]
[1] "14897324" "22522055" "68471405"
[[5]]
[1] "22522055" "48940689"
变量和观测值名称列表：
groups <- sort(unique(unlist(var_list_names)))
groups
[1] "14897324" "22522055" "33755311" "48940689" "5445504" "58534882" "68471405" "75338985"
uids <- db_frame$uid
uids
[1] "8" "9" "15" "16" "20"
------------- 使用"for i"循环的方法 1
row_number = length(uids)
col_number = length(groups)
# creating empty sparse matrix M1
M1 <- sparseMatrix(dims = c(row_number,col_number), i={}, j={}, x=1)
rownames(M1) <- uids
colnames(M1) <- groups
# filling M1
for (i in 1:row_number) {
M1[i,var_list_names[[i]]] <-1
}
M1
-------------- 使用"reshape2"的方法 2
library("reshape2")
long <- melt(var_list)
long
value L2 L1
1 1 33755311 1
2 1 58534882 1
3 1 75338985 2
4 1 5445504 3
5 1 58534882 3
6 1 14897324 4
7 1 22522055 4
8 1 68471405 4
9 1 22522055 5
10 1 48940689 5
i=long$L1
j=match(long[,"L2"],groups)
M2 <-sparseMatrix(i=i, j=j, x=1)
rownames(M2) <- uids
colnames(M2) <- groups
M2
感谢@amatsuo_net指出我data.table包中的rbindlist功能。
我稍微简化了他的代码，并添加了稀疏格式的转换。
测试10K观察的转换时间令人印象深刻，为6秒！
-------------- 使用"rbindlist"的方法4
library(RMySQL)
library(Matrix)
library(rjson)
library(data.table)
library(magrittr)
df <- dbGetQuery(mydb, "SELECT uid, column_json(groups) FROM matrix")
# "rbindlist" does all the work
M3 <- lapply(df[,-1],fromJSON) %>% rbindlist(fill=TRUE)
# replace NA with 0 (required for sparsematrix type)
M3[is.na(M3)] <- 0
# converting to sparsematrix type
M3 <- as(as.matrix(M3), "sparseMatrix")
# make some order :)
M3 <- M3[, order(as.integer(colnames(M3)))]
row.names(M3) <- df$uid
我认为这会起作用，但不确定它会有多高效，因为我没有测试数据。
library(data.table)
library(magrittr)
split(df, seq(nrow(df))) %>%
lapply(function(x) {
dt <- data.table(t(unlist(fromJSON(x$column_json))))
dt[, id := x$uid]
}) %>%
rbindlist(fill = TRUE)