如何导出完整结果Databricks Azure

Question

我使用命令"display"通过完整的dowload结果选项手动从数据块导出数据示例

display (predictions.select ("productid", "prediction"))

但它只返回1000000，我有更多的记录。关于导出完整结果，DataBricks是否有任何限制？

我可以做些什么来下载我的所有结果？

Answer 1

是的，数据块只显示有限的数据帧。它允许你像csv一样下载数据，但我想它也是有限的。您可以使用以下命令将数据帧保存为databricks数据库中的表：

predictions.select("productid", "prediction").write.saveAsTable("predictions")

然后你可以加载：

predictions = spark.table('predictions')