如何在不使用CLI的情况下从Databricks文件系统下载文件?

Question

我从Databricks笔记本中保存了一个文件，如下所示：

joblib.dump(rf, '/dbfs/FileStore/model.pkl', compress=9)

如何在不使用 CLI 的情况下将其下载到我的本地文件系统？

我尝试如下：

https://westeurope.azuredatabricks.net/dbfs/FileStore/model.pkl?o=####

但它不起作用。

Answer 1

我自己想通了：

https://westeurope.azuredatabricks.net/files/model.pkl?o=####

更多细节可以在这里找到。

Answer 2

最简单的方法是您开始写入 s3 存储桶

df.write.format("com.databricks.spark.csv").option("header", "true") 
.save("s3://<your folder desired(exist or not)/file")

现在您可以使用aws s3 cp <your folder desired(exist or not)/file <local file path>检索它