Spark Scala 联接数据帧减去列值

Question

我有两个数据帧，每个数据帧有 2 列。我想通过他们的第一列加入他们并减去他们的第二列。这是我到目前为止所拥有的：

var x = df.select("a", "c")
          .groubBy("a")
          .count()
var y = df.select("b", "c")
          .groubBy("b")
          .count()
var z = x.join(y, x("a") === y("b"))

如何执行数据帧减法？没有数据帧，我通常会映射值{案例..=> ..}.谢谢

Answer 1

val x = df.groubBy("a")
          .agg(sum("c").as("c1"))
          .select("a", "c1")
val y = df.groubBy("b")
          .agg(sum("c").as("c2"))
          .select("b", "c2")
val z = x.join(y, $"a" === $"b")
         .select($"a", $"c1" - $"c2")