在可能提交错误之前在此处呈现。我正在使用Spark 1.6.0。
这是我正在处理的问题的简化版本。 我已经过滤了一个表，然后我尝试对该子集和主表进行左外部联接，匹配所有列。
我在主表中只有 2 行，在过滤表中有一行。 我希望生成的表只有子集中的单行。
scala> val b = Seq(("a", "b", 1), ("a", "b", 2)).toDF("a", "b", "c")
b: org.apache.spark.sql.DataFrame = [a: string, b: string, c: int]
scala> val a = b.where("c = 1").withColumnRenamed("a", "filta").withColumnRenamed("b", "filtb")
a: org.apache.spark.sql.DataFrame = [filta: string, filtb: string, c: int]
scala> a.join(b, $"filta" <=> $"a" and $"filtb" <=> $"b" and a("c") <=> b("c"), "left_outer").show
+-----+-----+---+---+---+---+
|filta|filtb| c| a| b| c|
+-----+-----+---+---+---+---+
| a| b| 1| a| b| 1|
| a| b| 1| a| b| 2|
+-----+-----+---+---+---+---+
我完全没想到会有这样的结果。 我期待第一行，但不是第二行。 我怀疑这是零安全相等，所以我尝试了没有。
scala> a.join(b, $"filta" === $"a" and $"filtb" === $"b" and a("c") === b("c"), "left_outer").show
16/03/21 12:50:00 WARN Column: Constructing trivially true equals predicate, 'c#18232 = c#18232'. Perhaps you need to use aliases.
+-----+-----+---+---+---+---+
|filta|filtb| c| a| b| c|
+-----+-----+---+---+---+---+
| a| b| 1| a| b| 1|
+-----+-----+---+---+---+---+
好的，这就是我预期的结果，但后来我对警告产生了怀疑。 这里有一个单独的 StackOverflow 问题来处理这个警告：Spark SQL 执行 carthesian join 而不是内部连接
因此，我创建了一个避免警告的新列。
scala> a.withColumn("newc", $"c").join(b, $"filta" === $"a" and $"filtb" === $"b" and $"newc" === b("c"), "left_outer").show
+-----+-----+---+----+---+---+---+
|filta|filtb| c|newc| a| b| c|
+-----+-----+---+----+---+---+---+
| a| b| 1| 1| a| b| 1|
| a| b| 1| 1| a| b| 2|
+-----+-----+---+----+---+---+---+
但现在结果又错了！我有很多空安全相等性检查，并且警告不是致命的，所以我没有看到处理/解决此问题的明确途径。
该行为是错误，还是这是预期行为？如果意料之中，为什么？
如果需要预期的行为，请在名称上使用任一join：
val b = Seq(("a", "b", 1), ("a", "b", 2)).toDF("a", "b", "c")
val a = b.where("c = 1")
a.join(b, Seq("a", "b", "c")).show
// +---+---+---+
// | a| b| c|
// +---+---+---+
// | a| b| 1|
// +---+---+---+
或别名：
val aa = a.alias("a")
val bb = b.alias("b")
aa.join(bb, $"a.a" === $"b.a" && $"a.b" === $"b.b" && $"a.c" === $"b.c")
您也可以使用<=>：
aa.join(bb, $"a.a" <=> $"b.a" && $"a.b" <=> $"b.b" && $"a.c" <=> $"b.c")
据我所知，简单平等的特殊情况已经有一段时间了。这就是为什么尽管有警告，你还是能得到正确的结果。
第二种行为看起来确实像一个错误，与您在数据中仍有a.c有关。看起来它是在b.c之前在下游挑选的，评估的条件实际上是a.newc = a.c的。
val expr = $"filta" === $"a" and $"filtb" === $"b" and $"newc" === $"c"
a.withColumnRenamed("c", "newc").join(b, expr, "left_outer")