如何访问 Spark sql 中的嵌套属性

Question

我正在尝试访问存储在表（镶木地板）中的json文件的嵌套属性。我可以通过以下方式访问表的所有记录从测试中选择 *;

但是，我无法通过将查询编写为：val tab= sqlContext.sql（"select text， user.screen_name from test LIMIT 1"）

架构如下：

|-- text: string (nullable = true)
 |    |-- truncated: boolean (nullable = true)
 |    |-- user: struct (nullable = true)
 |    |    |-- created_at: string (nullable = true)
 |    |    |-- id: long (nullable = true)
 |    |    |-- id_str: string (nullable = true)
 |    |    |-- is_translator: boolean (nullable = true)
 |    |    |-- lang: string (nullable = true)
 |    |    |-- location: string (nullable = true)
 |    |    |-- name: string (nullable = true)
 |    |    |-- screen_name: string (nullable = true)

以下是我的代码：

import scala.tools.nsc.doc.model.Object
import scala.tools.nsc.interactive.Main
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.sql._
import org.apache.spark.sql.SQLContext

object SimpleSparkSQL {
 def main(args:Array[String]) {
val path = args(0);
val conf = new SparkConf().setAppName("Simple         Application").setMaster("local[2]").set("spark.executor.memory", "1g") 
val sc = new SparkContext(conf)
val data = sc.textFile(path)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
val sqlc = new SQLContext(sc)
val df = sqlc.read.json(data)
df.select("text",    "user.screen_name").write.format("parquet").save("staging.parquet")
val parquetFile = sqlContext.read.parquet("staging.parquet")
parquetFile.registerTempTable("test")
//= 514621627494322176  where user.screen_name='abyschan'
val tab= sqlContext.sql("select * from test LIMIT 1")
df.printSchema()
tab.collect().foreach{println}
  } 
}

注意：从测试中选择*工作正常，但是当我尝试选择user.screen_name（嵌套属性）时，出现"无法解决user.screen_name"的错误

Answer 1

根据您的架构，您应该选择 text.user.screen_name .

Answer 2

我在下面的查询中使用了它，它起作用了。

val tab= sqlContext.sql（"通过screen_name DESC LIMIT 1从测试组中选择screen_name，计数（文本）

它只使用screen_name工作，但不需要使用user.screen_name。由于我已经在镶木地板表中平展了 json 数据，因此它不再需要"."来访问 json 的嵌套属性。