将相同的函数应用于spark数据帧行的所有字段

Question

我有一个数据帧，其中有大约1000s（变量）列。

我想让所有的值都大写。

这是我想到的方法，你们能建议一下这是不是最好的方法吗。

• 采取行
• 查找架构并存储在数组中，然后查找有多少字段
• 映射到数据帧中的每一行，并达到数组中元素数量的限制
• 将函数应用于每个字段的大写并返回行

Answer 1

如果您只想将相同的函数应用于所有列，那么这样做就足够了：

import org.apache.spark.sql.functions.{col, upper}
val df = sc.parallelize(
  Seq(("a", "B", "c"), ("D", "e", "F"))).toDF("x", "y", "z")
df.select(df.columns.map(c => upper(col(c)).alias(c)): _*).show
// +---+---+---+
// |  x|  y|  z|
// +---+---+---+
// |  A|  B|  C|
// |  D|  E|  F|
// +---+---+---+

或在Python 中

from pyspark.sql.functions import col, upper
df = sc.parallelize([("a", "B", "c"), ("D", "e", "F")]).toDF(("x", "y", "z"))
df.select(*(upper(col(c)).alias(c) for c in df.columns)).show()
##  +---+---+---+
##  |  x|  y|  z|
##  +---+---+---+
##  |  A|  B|  C|
##  |  D|  E|  F|
##  +---+---+---+

另请参阅：SparkSQL：将聚合函数应用于列的列表

Answer 2

我需要做类似的事情，但必须编写自己的函数来将数据帧中的空字符串转换为null。这就是我所做的。

import org.apache.spark.sql.functions.{col, udf} 
import spark.implicits._ 
def emptyToNull(_str: String): Option[String] = {
  _str match {
    case d if (_str == null || _str.trim.isEmpty) => None
    case _ => Some(_str)
  }
}
val emptyToNullUdf = udf(emptyToNull(_: String))
val df = Seq(("a", "B", "c"), ("D", "e ", ""), ("", "", null)).toDF("x", "y", "z")
df.select(df.columns.map(c => emptyToNullUdf(col(c)).alias(c)): _*).show
+----+----+----+
|   x|   y|   z|
+----+----+----+
|   a|   B|   c|
|   D|  e |null|
|null|null|null|
+----+----+----+

这里有一个更精细的emptyToNull函数，它使用了选项而不是null。

def emptyToNull(_str: String): Option[String] = Option(_str) match {
  case ret @ Some(s) if (s.trim.nonEmpty) => ret
  case _ => None
}