如何在R中使用ff包合并两个大型数据帧

Question

我有两个非常大的.csv文件，我们称它们为csv.1和csv.2（csv.1大约是1.4GB，csv.2大约是790MB），我想在公共字段"Id"上使用FULL OUTER join将它们连接起来。CSV文件的字段有多种类型，有些完全是数字，有些则是字符串。此外，CSV.1有大约190列和160万条记录，CSV.2有大约40列和57万条记录。

最初，我编写并执行了以下代码：

first_csv <- read.csv("CSV.1")
second_csv <- read.csv("CSV.2")
joined_csv <- join(CSV.1, CSV.2, by="Id", type="full")

然而，这返回了典型的，您的RAM完全征税，错误。所以我尝试了以下方法：

# Install and invoke the ff package
install.packages("ff")
library(ff)
library(plyr)
# Read in the data
first_csv <- read.csv("CSV.1")
second_csv <- read.csv("CSV.2")
# Convert dataframes to ffdf's, while freeing up memory
first_csv_ff <- as.ffdf(first_csv)
rm(first_csv)
gc()
second_csv_ff <- as.ffdf(second_csv)
rm(second_csv)
gc()
# Attempt to join the two ffdf's by "Id"
joined_csv <- join(first_csv_ff, second_csv_ff, by="Id", type="full")

R发出以下错误：

Error in as.hi.integer(x, maxindex = maxindex, dim = dim, vw = vw, pack = pack) : 
NAs in as.hi.integer

我也试过，不带as.ffdf的"<-ffdf（）"，但也没有快乐。

提前非常感谢您的帮助！

Answer 1

您可以使用ff包的merge，仅供参考：

FULL Outer join ~ merge(x = df1, y = df2, ...., all = TRUE)

对于您的数据，这应该有效：

merge(first_csv_ff, second_csv_ff, by="Id", all=TRUE)

Answer 2

ffbase包为ff包提供了基本的统计功能。

install.packages(ffbase)
require(ffbase)
#now perform the merge
merge(ffdf1,ffdf2,by="key")