如何在 Spark sql 中解析嵌套的 JSON 对象

Question

>我有一个如下所示的模式。如何解析嵌套对象

root
 |-- apps: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- appName: string (nullable = true)
 |    |    |-- appPackage: string (nullable = true)
 |    |    |-- Ratings: array (nullable = true)
 |    |    |    |-- element: struct (containsNull = true)
 |    |    |    |    |-- date: string (nullable = true)
 |    |    |    |    |-- rating: long (nullable = true)
 |-- id: string (nullable = true)

Answer 1

假设您读取 json 文件并打印您向我们展示的架构，如下所示：

DataFrame df = sqlContext.read().json("/path/to/file").toDF();
    df.registerTempTable("df");
    df.printSchema();

然后，您可以选择结构类型中的嵌套对象，如下所示...

DataFrame app = df.select("app");
        app.registerTempTable("app");
        app.printSchema();
        app.show();
DataFrame appName = app.select("element.appName");
        appName.registerTempTable("appName");
        appName.printSchema();
        appName.show();

Answer 2

试试这个：

val nameAndAddress = sqlContext.sql("""
    SELECT name, address.city, address.state
    FROM people
""")
nameAndAddress.collect.foreach(println)

源：https://databricks.com/blog/2015/02/02/an-introduction-to-json-support-in-spark-sql.html

Answer 3

您是否尝试过直接从SQL查询中执行此操作，例如

Select apps.element.Ratings from yourTableName

这可能会返回一个数组，您可以更轻松地访问其中的元素。此外，当我必须处理大型 JSON 结构并且架构过于复杂时，我会使用此在线 Json 查看器：http://jsonviewer.stack.hu/

Answer 4

我正在使用pyspark，但逻辑应该相似。我发现这种解析嵌套 json 的方法很有用：

df.select(df.apps.appName.alias("apps_Name"), 
          df.apps.appPackage.alias("apps_Package"), 
          df.apps.Ratings.date.alias("apps_Ratings_date")) 
   .show()

代码显然可以用 f 字符串缩短。

Answer 5

var df = spark.read.format("json").load("/path/to/file")
df.createOrReplaceTempView("df");
spark.sql("select apps.element.Ratings from df where apps.element.appName like '%app_name%' ").show()