如何旋转数据集

Question

我使用Spark 2.1。

我在Spark DataFrame中有一些数据，如下所示：

**ID** **type** **val** 
  1       t1       v1      
  1       t11      v11
  2       t2       v2     

我想使用Spark Scala(最好是(或Spark SQL枢转数据，以使最终输出应如下所示：

**ID**   **t1**   **t11**   **t2**
  1        v1       v11
  2                            v2

Answer 1

您可以使用groupBy.pivot：

import org.apache.spark.sql.functions.first
df.groupBy("ID").pivot("type").agg(first($"val")).na.fill("").show
+---+---+---+---+
| ID| t1|t11| t2|
+---+---+---+---+
|  1| v1|v11|   |
|  2|   |   | v2|
+---+---+---+---+

注意：取决于实际数据，即ID和type的每种组合有多少个值，您可以选择其他聚合函数。

Answer 2

这是一种方法：

val df = Seq(
  (1, "T1", "v1"),
  (1, "T11", "v11"),
  (2, "T2", "v2")
).toDF(
  "id", "type", "val"
).as[(Int, String, String)]
val df2 = df.groupBy("id").pivot("type").agg(concat_ws(",", collect_list("val")))
df2.show
+---+---+---+---+
| id| T1|T11| T2|
+---+---+---+---+
|  1| v1|v11|   |
|  2|   |   | v2|
+---+---+---+---+

请注意，如果与给定的type有不同的 val s，则将在df2中的type下分组(逗号删除(。

Answer 3

这个应该工作

val seq = Seq((123,"2016-01-01","1"),(123,"2016-01-02","2"),(123,"2016-01-03","3"))
val seq = Seq((1,"t1","v1"),(1,"t11","v11"),(2,"t2","v2"))     
val df = seq.toDF("id","type","val")
val pivotedDF = df.groupBy("id").pivot("type").agg(first("val"))
pivotedDF.show

输出：

+---+----+----+----+
| id|  t1| t11|  t2|
+---+----+----+----+
|  1|  v1| v11|null|
|  2|null|null|  v2|
+---+----+----+----+