r- read.csv.fdff错误:无法分配大小6607642.0 GB的向量

Question

我需要在rstudio中读取4.5GB CSV文件，并克服内存问题，我使用ff package read.ffdf函数。但是，我仍然收到一条错误消息，即数据太大

错误：不能分配大小6607642.0 GB

的向量

我不知道为什么。我真的很感谢任何帮助！

options(fftempdir="C:/Users/Documents/")
CRSPDailyff <- read.csv.ffdf(file="CRSP_Daily_Stock_Returns_1995-2015.csv")

Answer 1

我怀疑您可以使用Next.Rows参数克服此限制。

请尝试：

options(fftempdir="C:/Users/Documents/")
CRSPDailyff <- 
read.csv.ffdf(file="CRSP_Daily_Stock_Returns_1995-2015.csv", next.rows = 100000)

对Next的其他值进行实验。行，我个人在校园的4GB机器上使用500000。

其他评论者的建议