窗口函数的默认窗口框架是什么



运行以下代码:

val sales = Seq(
  (0, 0, 0, 5),
  (1, 0, 1, 3),
  (2, 0, 2, 1),
  (3, 1, 0, 2),
  (4, 2, 0, 8),
  (5, 2, 2, 8))
  .toDF("id", "orderID", "prodID", "orderQty")
val orderedByID = Window.orderBy('id')
val totalQty = sum('orderQty').over(orderedByID).as('running_total')
val salesTotalQty = sales.select(*, totalQty).orderBy('id')
salesTotalQty.show()

结果是:

+---+-------+------+--------+-------------+
| id|orderID|prodID|orderQty|running_total|
+---+-------+------+--------+-------------+
|  0|      0|     0|       5|            5|
|  1|      0|     1|       3|            8|
|  2|      0|     2|       1|            9|
|  3|      1|     0|       2|           11|
|  4|      2|     0|       8|           19|
|  5|      2|     2|       8|           27|
+---+-------+------+--------+-------------+

上面的代码中没有定义窗口框架,看起来默认窗口框架是rowsBetween(Window.unboundedPreceding, Window.currentRow)

不确定我对默认窗口框架的理解是否正确

来自 Spark Gotchas

默认框架规范取决于给定窗口定义的其他方面:

  • 如果指定了 ORDER BY 子句并且函数接受帧规范,则帧规范由 RANGE BETWEEN UNBOUNDED 前行和当前行之间定义,
  • 否则,帧规范由 无界前置和无界后行之间的行定义。

相关内容

  • 没有找到相关文章

最新更新