如何填充SataFrame中缺失的值

Question

在查询mysql数据库并构建相应的数据框架后，我得到的是：

mydata.show
+--+------+------+------+------+------+------+
|id| sport|  var1|  var2|  var3|  var4|  var5|
+--+------+------+------+------+------+------+
| 1|soccer|330234|      |      |      |      |
| 2|soccer|  null|  null|  null|  null|  null|
| 3|soccer|330101|      |      |      |      |
| 4|soccer|  null|  null|  null|  null|  null|
| 5|soccer|  null|  null|  null|  null|  null|
| 6|soccer|  null|  null|  null|  null|  null|
| 7|soccer|  null|  null|  null|  null|  null|
| 8|soccer|330024|330401|      |      |      |
| 9|soccer|330055|330106|      |      |      |
|10|soccer|  null|  null|  null|  null|  null|
|11|soccer|390027|      |      |      |      |
|12|soccer|  null|  null|  null|  null|  null|
|13|soccer|330101|      |      |      |      |
|14|soccer|330059|      |      |      |      |
|15|soccer|  null|  null|  null|  null|  null|
|16|soccer|140242|140281|      |      |      |
|17|soccer|330214|      |      |      |      |
|18|soccer|      |      |      |      |      |
|19|soccer|330055|330196|      |      |      |
|20|soccer|210022|      |      |      |      |
+--+------+------+------+------+------+------+

每个var列都是一个：

string (nullable = true)

因此，我想将所有空行更改为"null"，以便能够将空单元格和带有"null"的单元格视为相等，可能不会为RDD留下数据帧。。。

Answer 1

我的方法是创建一个表达式列表。在Scala中，这可以使用map来完成。另一方面，在Python中，您需要使用一个理解列表。

之后，您应该像下面的示例一样，在df.select指令中解压缩该列表。

在表达式中，空字符串被替换为空值

Scala：

val exprs = df.columns.map(x => when(col(x) === '', null).otherwise(col(x)).as(x))
df.select(exprs:_*).show()

Python：

# Creation of a dummy dataframe:
df = sc.parallelize([("", "19911201", 1, 1, 20.0),
                     ("", "19911201", 2, 1, 20.0),
                     ("hola", "19911201", 2, 1, 20.0),
                     (None, "20111201", 3, 1, 20.0)]).toDF()
df.show()
exprs = [when(col(x) == '', None).otherwise(col(x)).alias(x) 
         for x in df.columns]
df.select(*exprs).show()

例如：

+----+--------+---+---+----+
|  _1|      _2| _3| _4|  _5|
+----+--------+---+---+----+
|    |19911201|  1|  1|20.0|
|    |19911201|  2|  1|20.0|
|hola|19911201|  2|  1|20.0|
|null|20111201|  3|  1|20.0|
+----+--------+---+---+----+
+----+--------+---+---+----+
|  _1|      _2| _3| _4|  _5|
+----+--------+---+---+----+
|null|19911201|  1|  1|20.0|
|null|19911201|  2|  1|20.0|
|hola|19911201|  2|  1|20.0|
|null|20111201|  3|  1|20.0|
+----+--------+---+---+----+

Answer 2

一种选择是做相反的事情-用空值替换null（我个人讨厌null…），为此可以使用coalesce函数：

import org.apache.spark.sql.functions._
val result = input.withColumn("myCol", coalesce(input("myCol"), lit("")))

要对多列执行此操作：

val cols = Seq("var1", "var2", "var3", "var4", "var5")
val result = cols.foldLeft(input) { case (df, colName) => df.withColumn(colName, coalesce(df(colName), lit(""))) }