将 Spark 数据框的列转换为 JSON

Question

我有一个数据框，其中包含一个数据框的统计描述。 x=summaryDataFrame +-------+---+ |summary| c1| +-------+---+ | count| 3| | mean|3.0| | stddev|2.0| | min| 1| | max| 5| +-------+---+ 现在我想将其转换为格式的 JSON {"c1":{"mean":3,"count":3,"stddev":2,...}}

我也可以在x中有 n 列数.请帮助我实现这一点，我对 scala 很陌生。

提前致谢

Answer 1

一种方法可以解决这个问题：

val funs = Seq("count", "mean", "stddev", "min", "max")
def makeExprs(c: String, funs: Seq[String]) = funs.map(f => s"$f($c) AS $f")
val df = sc.parallelize(Seq(
  (32.0, 31.0, 14.0), (3.6, 2.8, 0.0), (4.5, 5.0, -1.2)
)).toDF
df.columns.flatMap(c => df
  .selectExpr(makeExprs(c, funs): _*)
  .toJSON
  .map(r => s"""{"$c": $r}""").collect
)