如何使用SQL查询CSV文件时如何打开标题

Question

spark sql可以直接在CSV文件上查询。请参见下面的示例。

val df = spark.sql("SELECT * FROM csv.`csv/file/path/in/hdfs`")

但是，我们如何让CSV文件中有一个标题行？

Answer 1

您可以使用视图：

spark.sql("""CREATE TEMPORARY VIEW df
             USING csv 
             OPTIONS (header "true", path "csv/file/path/in/hdfs")""")
spark.sql("""SELECT * FROM df""")