我有一个带有MapType列的数据帧，其中键是id，值是另一个具有两个数字，计数器和收入的StructType。
它看起来像这样：
+--------------------------------------+
| myMapColumn |
+--------------------------------------+
| Map(1 -> [1, 4.0], 2 -> [1, 1.5]) |
| Map() |
| Map(1 -> [3, 5.5]) |
| Map(1 -> [4, 0.1], 2 -> [6, 101.56]) |
+--------------------------------------+
现在我需要将每个id的这两个值相加，结果将是：
+----------------------+
| id | count | revenue |
+----------------------+
| 1 | 8 | 9.6 |
| 2 | 7 | 103.06 |
+----------------------+
我实际上不知道该怎么做，也找不到这种特殊情况的文档。我尝试使用Dataframe.groupBy，但无法使其工作:(
有什么想法吗？
我正在使用 Spark 1.5.2 和 Python 2.6.6
假设架构等效于以下内容：
root
|-- myMapColumn: map (nullable = true)
| |-- key: integer
| |-- value: struct (valueContainsNull = true)
| | |-- _1: integer (nullable = false)
| | |-- _2: double (nullable = false)
您所需要的只是explode和一个简单的聚合：
from pyspark.sql.functions import col, explode, sum as sum_
(df
.select(explode(col("myMapColumn")))
.groupBy(col("key").alias("id"))
.agg(sum_("value._1").alias("count"), sum_("value._2").alias("revenue")))