运行以下代码:
val sales = Seq(
(0, 0, 0, 5),
(1, 0, 1, 3),
(2, 0, 2, 1),
(3, 1, 0, 2),
(4, 2, 0, 8),
(5, 2, 2, 8))
.toDF("id", "orderID", "prodID", "orderQty")
val orderedByID = Window.orderBy('id')
val totalQty = sum('orderQty').over(orderedByID).as('running_total')
val salesTotalQty = sales.select(*, totalQty).orderBy('id')
salesTotalQty.show()
结果是:
+---+-------+------+--------+-------------+
| id|orderID|prodID|orderQty|running_total|
+---+-------+------+--------+-------------+
| 0| 0| 0| 5| 5|
| 1| 0| 1| 3| 8|
| 2| 0| 2| 1| 9|
| 3| 1| 0| 2| 11|
| 4| 2| 0| 8| 19|
| 5| 2| 2| 8| 27|
+---+-------+------+--------+-------------+
上面的代码中没有定义窗口框架,看起来默认窗口框架是rowsBetween(Window.unboundedPreceding, Window.currentRow)
不确定我对默认窗口框架的理解是否正确
来自 Spark Gotchas
默认框架规范取决于给定窗口定义的其他方面:
- 如果指定了 ORDER BY 子句并且函数接受帧规范,则帧规范由 RANGE BETWEEN UNBOUNDED 前行和当前行之间定义,
- 否则,帧规范由 无界前置和无界后行之间的行定义。