R data.table readcsv 文件增加列量

Question

我有一个问题，我正在尝试从csv文件中读取大量数据(可能将大约8000万行分成大约200个文件(

某些文件结构不佳。在几十万行之后，由于某种原因，这些行以逗号 ("，"( 结尾，但此逗号后面没有其他信息。一个简短的例子来说明这种行为：

a,b,c
1,2,3
d,e,f,
4,5,6,

这些行有 19 列。我尝试手动告诉 readcsv 将其读取为 20 列，使用 colClasses 和 col.names 和 fill=TRUE

all.files <- list.files(getwd(), full.names=T, recursive=T)
lapply(all.files, fread,
  select=c(5,6,9),
  col.names=paste0("V",seq_len(20)),
  #colClasses=c("V1"="character","V2"="character","V3"="integer"),
  colClasses=c(<all 20 data types, 20th arbitrarily as integer>),
  fill=T)

我尝试的另一种解决方法是根本不使用fread，通过

data <- lapply(all.files, readLines)
data <- unlist(data)
data <- as.data.table(tstrsplit(data,","))
data <- data[, c("V5","V6","V9"), with=F]

但是，这种方法会导致"错误：内存耗尽"，我相信可以通过实际仅读取所需的 3 列而不是所有 19 列来解决。

非常感谢有关如何

在这种情况下使用fread的任何提示。

Answer 1

您可以尝试按如下方式使用 readr::read_csv：

library(readr)
txt <- "a,b,c
1,2,3
d,e,f,
4,5,6,"
read_csv(txt)

结果为预期结果：

# A tibble: 3 × 3
      a     b     c
  <chr> <chr> <chr>
1     1     2     3
2     d     e     f
3     4     5     6

以及以下警告

Warning: 2 parsing failures.
row col  expected    actual
  2  -- 3 columns 4 columns
  3  -- 3 columns 4 columns

若要仅读取特定列，请使用如下cols_only：

read_csv(txt, 
         col_types = cols_only(a = col_character(),
                               c = col_character()))