如何使用ApacheSpark将JSON文件转换为镶木地板

Question

我是Apache Spark 1.3.1的新手。如何将JSON文件转换为Parquet？

Answer 1

Spark 1.4及更高版本

您可以使用sparkSQL首先将JSON文件读取到DataFrame中，然后将DataFrame写入镶木地板文件。

val df = sqlContext.read.json("path/to/json/file")
df.write.parquet("path/to/parquet/file")

或

df.save("path/to/parquet/file", "parquet")

查看此处和此处以获取示例和更多详细信息。

Spark 1.3.1

val df = sqlContext.jsonFile("path/to/json/file")
df.saveAsParquetFile("path/to/parquet/file")

与Windows和Spark 1.3.1相关的问题

在Windows上将DataFrame保存为镶木地板文件将抛出java.lang.NullPointerException，如本文所述。

在这种情况下，请考虑升级到更新的Spark版本。