将 pyspark 中的数据帧另存为 csv 中的蜂巢

Question

我有一个数据框pyspark说df.

我想将数据框另存为 csv 中配置单元中的表。我做了如下工作

df.write.saveAsTable("testing.test")

但配置单元表数据显示该表采用镶木地板格式。我想另存为 CSV 表格。我们怎么能做到这一点。

仅供参考，我正在使用火花 1.6

Answer 1

您可以指定格式。

write.format('csv').mode(mode).options(options).saveAsTable(tableName)

ie df.write.format('csv').saveAsTable('testing.test').

https://spark.apache.org/docs/preview/api/python/_modules/pyspark/sql/readwriter.html

Answer 2

如果您使用的是 spark 1.6，那么您需要相同的 databricks 包。

这是示例代码：-

df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").save("testing.csv")