在Apache Spark中从另一个表创建表时出错

Question

我以以下方式创建表:

spark.sql("CREATE TABLE IF NOT EXISTS table USING DELTA AS SELECT * FROM origin")

但是我得到这个错误:

线程"main"异常org.apache.spark.SparkException: Table implementation不支持write: Table

Answer 1

您得到SparkException错误，因为这种使用SQL请求作为输入数据创建delta-lake表的方法没有实现。

如果您想创建一个delta-lake表并同时插入数据，您应该使用DataFrameWriter API，如databricks文档中所述:

spark.sql("SELECT * FROM origin")
.write
.format("delta")
.save("/path/to/where/you/want/to/save/your/data")