Apache Spark 中窗口函数中的过滤器和条件

Question

>我有一个如下所示的示例数据集

Name   date        Category    transactionamount
Adam    1/1/2020    Mobile      100
Adam    1/1/2020    Tab         200
Bob     1/1/2020    Mobile      200
Adam    2/1/2020    Tab         200
Bob     2/1/2020    Mobile      200
Adam    3/1/2020    Tab         200
Bob     4/1/2020    Mobile      200

我想在当前和前一天的滚动周期内对交易金额列求和，所以我的窗口框架代码如下所示

val windowspec = Window.partitionBy($"name").orderBy($"date".asc)
val range = windowspec.rangeBetween(-1, 0)
val aasum2 = sum('transactionAmount).over(range)
df.select('date,'name,aasum2 as 'aasum).orderBy('date,'name).show(100,false)

这适用于无条件的一般求和。

但是我想要像下表这样的输出，其中包含两个基于类别列值的新列。

每个输出行都应包含不同日期和名称的总和值。

我们如何在对列执行窗口功能时应用条件(基于其他列的值(

date        Name    Mobile_sum  Tab_sum
1/1/2020    Adam    100         200
1/1/2020    Bob     200         0
2/1/2020    Adam    0           400
2/1/2020    Bob     400         0
3/1/2020    Adam    0           600
3/1/2020    Bob     0           0
4/1/2020    Adam    0           0
4/1/2020    Bob     200         0

Answer 1

将附加列添加到WindowSpec中的partitionBy()