Spark 获取嵌套 JSON 的列名

Question

我正在尝试通过数据帧从嵌套的JSON中获取列名。架构如下：

root
 |-- body: struct (nullable = true)
 |    |-- Sw1: string (nullable = true)
 |    |-- Sw2: string (nullable = true)
 |    |-- Sw3: string (nullable = true)
 |    |-- Sw420: string (nullable = true)
 |-- headers: struct (nullable = true)
 |    |-- endDate: string (nullable = true)
 |    |-- file: string (nullable = true)
 |    |-- startDate: string (nullable = true)

我可以使用 df.columns（） 获取列名"body"和"header"，但是当我尝试使用 df.select（"body"）.columns 从正文（例如：Sw1、Sw2,...）获取列名时，它总是给我正文列。

有什么建议吗？:)

Answer 1

如果问题是如何查找嵌套列名称，则可以通过检查数据帧的schema来执行此操作。 架构表示为一个StructType，它可以是其他DataType对象的字段（包括其他嵌套结构）。 如果你想发现所有的领域，你必须递归地走这棵树。 例如：

import org.apache.spark.sql.types._
def findFields(path: String, dt: DataType): Unit = dt match {
  case s: StructType => 
    s.fields.foreach(f => findFields(path + "." + f.name, f.dataType))
  case other => 
    println(s"$path: $other")
}

这将遍历树并打印出所有叶子字段及其类型：

val df = sqlContext.read.json(sc.parallelize("""{"a": {"b": 1}}""" :: Nil))
findFields("", df.schema)
prints: .a.b: LongType

Answer 2

如果嵌套的 json 有一个 StructType 数组，那么可以使用以下代码（下面的代码是对 Michael Armbrust 给出的代码的扩展）

import org.apache.spark.sql.types._
def findFields(path: String, dt: DataType): Unit = dt match {
  case s: StructType => 
    s.fields.foreach(f => findFields(path + "." + f.name, f.dataType))
  case s: ArrayType => 
    findFields(path, s.elementType)
  case other => 
    println(s"$path")
}

Answer 3

要获取嵌套列名称，请使用如下代码：

从主方法调用如下所示：

findFields(df,df.schema)

方法：

def findFields(df:DataFrame,dt: DataType) = 
{
    val fieldName = dt.asInstanceOf[StructType].fields
    for (value <- fieldName) 
    {
      val colNames = value.productElement(1).asInstanceOf[StructType].fields
      for (f <- colNames)
      {
         println("Inner Columns of "+value.name+" -->>"+f.name)
      }
   }

}

注意：仅当第一组列都是结构类型时，这才有效。

Answer 4

很简单：df.select("body.Sw1", "body.Sw2")