r-Databricks将Rdata文件保存到AWS S3 Bucket中

Question

我使用数据块在R中开发了一个模型。我想将输出数据文件保存在AWS S3存储桶上，但当我按以下方式保存文件时，它不会保存到安装的驱动器中。

doc <- save(data, file=paste0(getwd(), "/datafile.RData"))

使用R将数据装载到S3的最佳方式是什么？

我已经尝试了下面的示例代码，它很有效，所以我知道我在AWS和Databricks之间的连接是有效的。

%python
display(dbutils.fs.ls("/"))

Answer 1

来自Databricks文件系统(DBFS(文档：

您可以使用本地文件API来读取和写入DBFS路径。Databricks为每个集群节点配置一个FUSE挂载/dbfs允许在群集节点上运行的进程对具有本地文件API的底层分布式存储层。使用时本地文件API，必须在/dbfs下提供路径。

例如：

save(data, file="/dbfs/datafile.RData")