如何以镶木格式保存数据并附加条目

Question

我正在尝试遵循此示例，以保存一些parquet格式的数据并阅读它。如果我使用write.parquet("filename")，那么迭代的火花作业会出现

的错误

"文件名"已经存在。

如果我使用SaveMode.Append选项，那么Spark作业会提供错误

"。spark.sql.analysisexception：不允许指定数据库名称或其他限定符的临时表"。

请让我知道确保新数据仅附加到镶木quet文件的最佳方法。我可以在这些镶木表上定义主键吗？

我在Hortonworks 2.5系统上使用Spark 1.6.2。这是代码：

// Option 1: peopleDF.write.parquet("people.parquet")
//Option 2:
 peopleDF.write.format("parquet").mode(SaveMode.Append).saveAsTable("people.parquet")
// Read in the parquet file created above
val parquetFile = spark.read.parquet("people.parquet")
//Parquet files can also be registered as tables and then used in SQL statements.
parquetFile.registerTempTable("parquetFile")
val teenagers = sqlContext.sql("SELECT * FROM people.parquet")

Answer 1

我相信，如果您使用.parquet("....")，则应使用.mode('append')，不是SaveMode.Append：

df.write.mode('append').parquet("....")