无法处理 Spark SQL 中具有正斜杠列的 Parquet 数据

Question

我有一个Parquet文件，我可以在Spark SQL中加载Parquet文件。但是 Parquet 文件有很多带有正斜杠的列，当我尝试使用这些列从表中获取数据时，这会导致问题。例如列名称：ABC/DEF/EFG/HIJ

parqfile.registerTempTable("parquetTable")
val result=sqlContext.sql("select abc/def/efg/hij from parquetTable")

抛出错误下方。

org.apache.spark.sql.AnalysisException: cannot resolve 'abc' given input columns

Answer 1

斜

杠是一个保留字符，您需要使用反引号在 SELECT 中引用列名，如下所示：

val result=sqlContext.sql("select `abc/def/efg/hij` from parquetTable")