有没有办法将 R 对象传输到 Linux 上的单独 R 会话?

Question

我有一个程序，可以反复加载以R的Rds格式存储的大量数据集。 这是一个愚蠢的例子，具有所有显着特征：

# make and save the data
big_data <- matrix(rnorm(1e6^2), 1e6)
saveRDS(big_data, file = "big_data.Rds")
# write a program that uses the data
big_data <- readRDS("big_data.Rds")
BIGGER_data <- big_data+rnorm(1)
print("hooray!")
# save this in a text file called `my_program.R`
# run this program a bunch
for (i = 1:1000){
system("Rscript my_program.R")
}

瓶颈是加载数据。 但是，如果我在某个地方有一个单独的进程将数据保存在内存中怎么办？

也许是这样的：

# write a program to hold the data in memory
big_data <- readRDS("big_data.Rds")
# save this as `holder.R`  open a terminal and do
Rscript holder.R

现在有一个进程在某处运行，我的数据在内存中。 如何从不同的 R 会话获取它？ (我假设这会比加载它更快 - 但这是正确的吗？

也许是这样的：

# write another program:
big_data <- get_big_data_from_holder()
BIGGER_data <- big_data+1
print("yahoo!")
# save this as `my_improved_program.R`
# now do the following:
for (i = 1:1000){
system("Rscript my_improved_program.R")
}

所以我想我的问题是get_big_data_from_holder()的功能会是什么样子？ 可以这样做吗？ 实际？

背景故事：我正在尝试解决 R 与 keras/tensorflow 接口中似乎存在的内存泄漏问题，我已经在这里描述了这个问题。 解决方法是让操作系统清理 TF 会话中遗留的所有内容，以便我可以一个接一个地运行 TF 会话，而不会使计算机速度变慢。

编辑：也许我可以通过clone()系统调用来做到这一点？ 从概念上讲，我可以想象我会克隆运行holder的进程，然后运行程序中依赖于加载数据的所有命令。 但我不知道这将如何完成。

Answer 1

您还可以通过关闭压缩来提高保存和加载数据的性能：

saveRDS(..., compress = FALSE)

Answer 2

您可能会发现我的filematrix包对于存储和快速访问大矩阵很有用。

要创建它，请运行：

big_data = matrix(rnorm(1e4^2), 1e4)
library(filematrix)
fm = fm.create.from.matrix('matrix_file', big_data)
close(fm)

若要从另一个 R 会话访问它，请执行以下操作：

library(filematrix)
fm = fm.open('matrix_file')
show(fm[1:3,1:3])
close(fm)