如何访问结构数组中的值

Question

我在Google Cloud上使用Spark来处理来自Google Analytics的数据，但我不知道如何根据索引选择自定义维度

GA 自定义维度的结构是休耕：

ARRAY<STRUCT< index: INTEGER, value:STRING >>

通常，在 BigQuery 中，我会执行一个子查询来选择数据，例如

SELECT (select value from customDimensions where index = 2)

但如此处所述，尚不支持 select 中的子查询。

Answer 1

对 Google Cloud 上的 Spark 一无所知，但如果它足够接近 Apache Spark，您可以使用element_at函数，如果列是数组后跟dot访问器，则在给定索引处返回数组的元素。

// create a sample dataset
val structData = Seq((0,"zero"), (1, "one")).toDF("id", "value")
val data = structData
  .select(struct("id", "value") as "s")
  .groupBy()
  .agg(collect_list("s") as "a")
// the schema matches the requirements
scala> data.printSchema
root
 |-- a: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- id: integer (nullable = false)
 |    |    |-- value: string (nullable = true)
data.createOrReplaceTempView("customDimensions")

以下查询不起作用，因为index未知。

scala> sql("select value from customDimensions where index = 2").show
org.apache.spark.sql.AnalysisException: cannot resolve '`index`' given input columns: [customdimensions.a]; line 1 pos 41;
'Project ['value]
+- 'Filter ('index = 2)
   +- SubqueryAlias `customdimensions`
      +- Aggregate [collect_list(s#9, 0, 0) AS a#13]
         +- Project [named_struct(id, id#5, value, value#6) AS s#9]
            +- Project [_1#2 AS id#5, _2#3 AS value#6]
               +- LocalRelation [_1#2, _2#3]
...

让我们改用element_at标准函数。

scala> sql("select element_at(a, 2) from customDimensions").show
+----------------+
|element_at(a, 2)|
+----------------+
|        [1, one]|
+----------------+

"数组"是一个结构体，因此您可以使用.（点）。

scala> sql("select element_at(a, 2).value from customDimensions").show
+----------------------+
|element_at(a, 2).value|
+----------------------+
|                   one|
+----------------------+