如何处理在 R 中解析数百个文件

Question

我想解析记录在CSV文件中的去年天气数据。每个 CSV 文件包含一天的数据。所以我有 365 个 CSV 文件需要解析。处理这些文件的最佳方法是什么？据我所知，我需要将它们全部加载到 R 中并将它们绑定到一个大数据帧中。但我不知道这是否是最好的解决方案。如果我有超过一年的数据文件怎么办？我需要将它们全部加载到内存中吗？还是有其他方法可以处理它们？

每个文件约为1M至1.5M。

Answer 1

最简单的方法是使用 list.files 读取所有文件，将它们读入数据帧列表，然后将所有帧重新绑定在一起：

#setwd('dirwithallmycsvs')
x <- list.files(pattern = '.+\.csv$')
out = lapply(x, read.csv)
out2 = do.call(rbind, out)

输出现在应为一个数据帧。您需要注意文件中的所有列都是相同的。