我将以下数据导入到PySpark数据框架中:
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *
spark = SparkSession.builder.master("local[4]").appName("pyspark").getOrCreate()
df = spark.read.csv("example.csv")
df.show()
#+--+------+
#|id|answer|
#+--+------+
#| 1|a |
#| 1|b |
#| 2|c |
#| 2|d |
#| 3|e |
#| 4|f |
#| 4|g |
#+--+------+
一些id可能有重复,一些可能没有。我希望有以下输出:
+--+------+------+
|id|first |second|
+--+------+------+
| 1|a |b |
| 2|c |d |
| 3|e |Null |
| 4|f |g |
+--+------+------+
我将使用groupBy
,聚合使用collect_list
。我添加了array_sort
只是为了更多的确定性。
from pyspark.sql import functions as F
df = df.groupBy('id').agg(F.array_sort(F.collect_list('answer')).alias('list'))
df = df.select(
'id',
F.element_at('list', 1).alias('first'),
F.element_at('list', 2).alias('second'),
)
df.show()
# +---+-----+------+
# | id|first|second|
# +---+-----+------+
# | 1| a| b|
# | 2| c| d|
# | 3| e| null|
# | 4| f| g|
# +---+-----+------+