我有一个大约12000行的大数据集。数据由位移值和时间戳组成。对于每10行,我想计算平均值,STD DEV方差等。
我可以使用窗口功能功能吗?还是有人建议一种更简单的方法?
P.S:我是新来的火花和Scala。预先感谢。
是的,是使用rolling windows
,与lag
,lead
,rowsBetween
等,根据您的用例,有一些链接可用:Windows解释了更多Windows Info