Spark将null赋值给列(python)

Question

假设我有以下数据

+--------------------+-----+--------------------+
|              values|count|             values2|
+--------------------+-----+--------------------+
|              aaaaaa|  249|                null|
|              bbbbbb|  166|                  b2|
|              cccccc| 1680|           something|
+--------------------+-----+--------------------+

所以，如果有一个空值在values2列如何分配values1列给它?所以结果应该是:

+--------------------+-----+--------------------+
|              values|count|             values2|
+--------------------+-----+--------------------+
|              aaaaaa|  249|              aaaaaa|
|              bbbbbb|  166|                  b2|
|              cccccc| 1680|           something|
+--------------------+-----+--------------------+

我想到了下面的一些东西，但它不起作用:

df.na.fill({"values2":df['values']}).show()

我找到了这个方法来解决它，但应该有一些更明确的向前:

def change_null_values(a,b):
    if b:
        return b
    else:
        return a
udf_change_null = udf(change_null_values,StringType())
df.withColumn("values2",udf_change_null("values","values2")).show()

Answer 1

您可以使用https://spark.apache.org/docs/1.6.2/api/python/pyspark.sql.html#pyspark.sql.functions.coalesce

df.withColumn('values2', coalesce(df.values2, df.values)).show()

Answer 2

跟进@shadow_dev的方法:

    df.withColumn("values2", 
                  when(col("values2").isNull(), col("values1"))
                  .otherwise(col("values2")))

Dmytro Popovych的解决方案仍然是最干净的。

如果需要更多的花哨/否则逻辑:

df.withColumn("values2", when(col("values2").isNull() | col("values3").isNull(), col("values1"))
.when(col("values1") == col("values2"), 1)
.otherwise(0))

Answer 3

可以使用列属性.isNull()

df.where(col("dt_mvmt").isNull())
df.where(col("dt_mvmt").isNotNull())

这个答案来自于这个答案——我只是没有足够的声誉来添加评论。