如何使用Scala从数据框中获取字符串列的最大长度

Question

这可能是一个非常简单的问题。我正在使用Spark 1.6与Scala

var DF=hivecontext.sql("select name from myTable")
val name_max_len =DF.agg(max(length($"name"))) // did not work
println(name_max_len)

如何获得最大长度？

Answer 1

您应该收集结果：

import org.apache.spark.sql.functions.max
val df = Seq("foo", "bar", "foobar").toDF("name")
df.agg(max(length($"name"))).as[Int].first
// res0: Int = 6