如何从Spark的摘要()中排除百分位数

Question

spark的summary()函数返回计数，平均值，stddev和25/50/75％百分位。

是否可以仅计算计数，平均值和stddev？

Answer 1

我想您在谈论数据集的summary((函数。

在这种情况下，这应该有效：

yourDataset.summary( "count", "min", "stddev" ).show()

基于https://spark.apache.org/docs/2.3.0/api/scala/index.html#org.apache.sparke.spark.sql.dataset