r语言 - 将字符向量拆分为数据帧中的新行的最快方法

Question

我不确定在搜索时如何正确措辞，所以很抱歉，如果这有一个简单的答案。

我有 58 个数据帧，每个数据帧都有 ~25,000 行，我从.csv那里得到。它们看起来像这样：

Probe.Id     Gene.Id             Score.d
1418126_at   6352                28.52578
145119_a_at  2192                24.87866
1423477_at   NA                  24.43532
1434193_at   100506144///9204    6.22395

理想情况下，我想在"///"处拆分 Id，并将它们放在新行上。这样：

Probe.Id     Gene.Id             Score.d
1418126_at   6352                28.52578
145119_a_at  2192                24.87866
1423477_at   NA                  24.43532
1434193_at   100506144           6.22395
1434193_at   9204                6.22395

使用 strsplit 可以让我 Gene.Id 作为字符向量列表，但是一旦我有了这个，我不确定最有效的方法是将每个单独的 id 放在自己的行上，并从其他列中获取正确的值。理想情况下，我不想只循环浏览 25,000 行。

如果有人知道正确的方法，我将不胜感激。

编辑：我应该补充一点，有一个复杂的因素，因为有些行的ID如下：

333932///126961///653604///8350///8354///8355///8356///8968///8352///8358///835‌​1///8353///8357" 

而且我不知道连续的最大 id 数是多少。

Answer 1

编辑：OP评论后的新解决方案。使用data.table非常简单：

df <- structure(list(Probe.Id = c("1418126_at", "145119_a_at", "1423477_at", 
        "1434193_at", "100_at"), Gene.Id = c("6352", "2192", NA, 
        "100506144///9204", "100506144///100506146///100506148///100506150"), 
         Score.d = c(28.52578, 24.87866, 24.43532, 6.22395, 6.22395)), 
        .Names = c("Probe.Id", "Gene.Id", "Score.d"), row.names = c(NA, 5L), 
        class = "data.frame")
require(data.table)
dt <- data.table(df)
dt.out <- dt[, list(Probe.Id = Probe.Id, 
          Gene.Id = unlist(strsplit(Gene.Id, "///")), 
          Score.d = Score.d), by=1:nrow(dt)]
> dt.out
#    nrow    Probe.Id   Gene.Id  Score.d
# 1:    1  1418126_at      6352 28.52578
# 2:    2 145119_a_at      2192 24.87866
# 3:    3  1423477_at        NA 24.43532
# 4:    4  1434193_at 100506144  6.22395
# 5:    4  1434193_at      9204  6.22395
# 6:    5      100_at 100506144  6.22395
# 7:    5      100_at 100506146  6.22395
# 8:    5      100_at 100506148  6.22395
# 9:    5      100_at 100506150  6.22395

如果strsplit表达式是固定模式，则可以向表达式添加fixed = TRUE以进一步加速///。

再次使用data.table替代。考虑到strsplit是一个矢量化操作，并且在整个列上运行它比一次运行 1 行要快得多Gene.Id（即使data.table运行速度非常快，您可以通过将前面的代码拆分为 2 个步骤来获得更多加速：

# first split using strsplit (data.table can hold list in its columns!!)
dt[, Gene.Id_split := strsplit(dt$Gene.Id, "///", fixed=TRUE)]
# then just unlist them
dt.2 <- dt[, list(Probe.Id = Probe.Id, 
                  Gene.Id = unlist(Gene.Id_split), 
                  Score.d = Score.d), by = 1:nrow(dt)]

我只是多次复制此示例中显示的data.table，直到得到295245行。然后我使用 rbenchmark 运行了一个基准测试：

# first function
DT1 <- function() {
    dt.1 <- dt[, list(Probe.Id = Probe.Id, 
             Gene.Id = unlist(strsplit(Gene.Id, "///", fixed = TRUE)), 
             Score.d = Score.d), by=1:nrow(dt)]
}
# expected to be faster function
DT2 <- function() {
    dt[, Gene.Id_split := strsplit(dt$Gene.Id, "///", fixed=TRUE)]
    # then just unlist them
    dt.2 <- dt[, list(Probe.Id = Probe.Id, Gene.Id = unlist(Gene.Id_split), Score.d = Score.d), by = 1:nrow(dt)]
}
require(rbenchmark)
benchmark(DT1(), DT2(), replications=10, order="elapsed")
#    test replications elapsed relative user.self sys.self
# 2 DT2()           10  15.708    1.000    14.390    0.391
# 1 DT1()           10  24.957    1.589    23.723    0.436

对于此示例，您的速度大约提高了 1.6 倍。但这取决于带有 /// 的条目数量。希望这有帮助。

旧解决方案：（用于连续性）

一种方法是：1）find the positions这种///发生的位置，2）extract,3）duplicate,4）sub和5）combine它们。

df <- structure(list(Probe.Id = structure(c(1L, 4L, 2L, 3L), 
         .Label = c("1418126_at", "1423477_at", "1434193_at", "145119_a_at"), 
         class = "factor"), Gene.Id = structure(c(3L, 2L, NA, 1L), 
         .Label = c("100506144///9204", "2192", "6352"), class = "factor"), 
         Score.d = c(28.52578, 24.87866, 24.43532, 6.22395)), 
         .Names = c("Probe.Id", "Gene.Id", "Score.d"), 
         class = "data.frame", row.names = c(NA, -4L))
# 1) get the positions of "///"
idx <- grepl("[/]{3}", df$Gene.Id)
# 2) create 3 data.frames
df1 <- df[!idx, ] # don't touch this.
df2 <- df[idx, ] # we need to work on this
# 3) duplicate
df3 <- df2 # duplicate it.
4) sub    
df2$Gene.Id <- sub("[/]{3}.*$", "", df2$Gene.Id) # replace the end
df3$Gene.Id <- sub("^.*[/]{3}", "", df3$Gene.Id) # replace the beginning
# 5) combine/put them back
df.out <- rbind(df1, df2, df3)
# if necessary sort them here.

Answer 2

这里是使用strsplit和merge的解决方案

dat <- read.table(text ='Probe.Id     Gene.Id             Score.d
1418126_at   6352                28.52578
145119_a_at  2192                24.87866
1423477_at   NA                  24.43532
1434193_at   100506144///9204    6.22395',header=T,stringsAsFactors=F)
dat1 <- dat
xx <- do.call(rbind,strsplit(dat$Gene.Id,split='///'))
dat[which(xx[,1]!=xx[,2]),2]  <- xx[which(xx[,1]!=xx[,2]),1]
dat1[which(xx[,1]!=xx[,2]),2]  <- xx[which(xx[,1]!=xx[,2]),2]
  merge(dat,dat1,all.y=T,all.x=T)
     Probe.Id   Gene.Id  Score.d
1  1418126_at      6352 28.52578
2  1423477_at      <NA> 24.43532
3  1434193_at 100506144  6.22395
4  1434193_at      9204  6.22395
5 145119_a_at      2192 24.87866

Answer 3

这是一个使用构造函数进行data.frame的方法，使用静默回收输入向量的"功能"：

do.call(rbind, 
        apply(dat, 1, function(x) 
                         data.frame(Probe.ID=x['Probe.Id'], 
                                    Gene.Id=strsplit(x['Gene.Id'], '///'),
                                    Score.d=x['Score.d'],
                                    row.names=NULL
                                   )
             )
        )
##      Probe.ID   Gene.Id  Score.d
## 1  1418126_at      6352 28.52578
## 2 145119_a_at      2192 24.87866
## 3  1423477_at      <NA> 24.43532
## 4  1434193_at 100506144  6.22395
## 5  1434193_at      9204  6.22395