火花:条件表达式和色谱柱操作

Question

我有一个带有以下架构的数据框：

|- colA (Int)
|- colB (Int)
|- cnt  (Int)

我想执行以下条件表达式（伪代码）：

if cnt > 1: 
  colC = colA + colB
else: 
  colC = colA

在上面的示例中，colC是使用withColumn函数创建的新列。

我不想在cnt上执行collect。

Answer 1

您可以使用与withColumn结合的when/otherwise语法来条件创建列：

df.withColumn("colC", when($"cnt" > 1, $"colA" + $"colB").otherwise($"colA"))