如何使用Spark Scala计算箱平均值



我有一个大约12000行的大数据集。数据由位移值和时间戳组成。对于每10行,我想计算平均值,STD DEV方差等。

我可以使用窗口功能功能吗?还是有人建议一种更简单的方法?

P.S:我是新来的火花和Scala。预先感谢。

是的,是使用rolling windows,与lagleadrowsBetween等,根据您的用例,有一些链接可用:Windows解释了更多Windows Info

相关内容

  • 没有找到相关文章

最新更新