Spark 1.5+版本具有窗口功能。我相信在的某个地方有一个关于SQL的全面文档,但一直没有找到。
以下是spark数据帧和sql的文档:它没有所需的内容:
http://spark.apache.org/docs/latest/streaming-programming-guide.html#dataframe-和sql操作
我在谷歌上搜索了许多不同的方法,但找不到可用sql函数的全面指南。我能找到的最接近的是"火花1.5新数据帧操作"在这里:
https://databricks.com/blog/2015/09/16/spark-1-5-dataframe-api-highlights-datetimestring-handling-time-intervals-and-udafs.html
更新我专门寻找SQL引用,而不是API(/scaladoc)引用。例如,显示所提供的sql函数、它们的参数是什么、语义,以及可能的示例用法的引用。
Wiki中有一个关于窗口化和分析的页面,其中涵盖了窗口规范、聚合函数,并包含一些示例。
这个怎么样?这是spark2.4.0https://spark.apache.org/docs/2.4.0/api/sql/index.html#last_value
Databricks在https://databricks.com/blog/2015/07/15/introducing-window-functions-in-spark-sql.html但是最终文档应该始终是API文档,向右滚动到底部数据框架函数API文档