未定义名称'spark_write_parquet' - 在 python/databricks/Spark 中写入 Parquet 文件时出错

Question

在编写拼花地板文件时出现以下错误名称"spark_write_parquet"未定义

我需要导入任何内容来定义此命令吗？请帮助

Answer 1

没有名为spark_write_parquet的函数！至少首先参考文档和API总是很好的！

df.select("name", "age").write.save("namesAndAges.parquet", format="parquet")

或

df.write.parquet(os.path.join(tempfile.mkdtemp(), 'data'))