如何使用 "when" 语句在 Spark 上填充空值

Question

当一列的值小于一个数字时，如何填写一列的空值？

例如

val filledage = age.na.fill(30,Array("Age")) ..... when kidscolumns>1 

类似的东西

谢谢！

Answer 1

假设你有一个dataframe

+----+-------+
|Age |column1|
+----+-------+
|null|6      |
|null|20     |
|35  |10     |
|25  |5      |
+----+-------+

并且您想在值小于15时用30替换Age列中的null值column1那么您可以这样做

import org.apache.spark.sql.functions._
val comparingValue = 15
df.withColumn("Age", when(col("column1")<comparingValue, lit(30)))

应该给你

+----+-------+
|Age |column1|
+----+-------+
|30  |6      |
|null|20     |
|30  |10     |
|30  |5      |
+----+-------+

我希望答案对您有所帮助