如何在具有一些静态值的数据框中添加列

Question

我有一个带有几列的Spark SQL DataFrame，但我想在该数据框中添加一些静态值的列。我该怎么做？

我尝试了withColumn方法，但它的期望Column

预期是：

df.withColumn(col("newColumn", "static value")

更新：

我得到了答案，我们需要将lit用于此目的。

例如：

df.withColumn("newColumn", lit("some value")

Answer 1

您只需使用UDF创建它，因此您可以定义返回默认值的UDF，然后添加列并设置默认值如下

val defaultValue=spark.udf.register("defaultValue",()=>"default")
df.withColumn(col("newColumn", defaultValue)
df.show()