如何在PySpark中转置特定的列

Question

我有以下PySpark数据框架:

year    week    date    time          value
2020    1     20201203  2:00 - 2:15    23.9
2020    1     20201203  2:15 - 2:30    45.87
2020    1     20201203  2:30 - 2:45    87.76
2020    1     20201203  2:45 - 3:00    12.87

我想把时间和值列调换一下。期望的输出应该是:

year   week    date    2:00 - 2:15     2:15 - 2:30     2:30 - 2:45    2:45 - 3:00
2020   1     20201203    23.9             45.87           87.76          12.87

Answer 1

可以使用groupby和pivot

df = df.groupby('year', 'week', 'date').pivot('time').max('value')