使用多个列作为存储在 Apache Spark 中的数组中的键来联接两个数据帧

Question

如何使用多列作为键来计算两个数据帧的连接？例如DF1，DF2是两个数据帧。

这是我们计算连接的方法，

JoinDF = DF1.join(DF2, DF1("column1") === DF2("column11") && DF1("column2") === DF2("column22"), "outer") 

但我的问题是如何访问多个列，如果它们存储在这样的数组中：

DF1KeyArray=Array{column1,column2}
DF2KeyArray=Array{column11,column22}

那么通过这种方法无法计算连接

JoinDF = DF1.join(DF2, DF1(DF1KeyArray)=== DF2(DF2KeyArray), "outer")

在这种情况下，错误是：

<console>:128: error: type mismatch;
found   : Array[String]
required: String

有没有办法访问多个列作为存储在数组中的键来计算连接？

Answer 1

您可以

简单地以编程方式创建joinExprs：

val df1KeyArray: Array[String] = ???
val df2KeyArray: Array[String] = ???
val df1: DataFrame = ???
val df2: DataFrame = ???
val joinExprs = df1KeyArray
  .zip(df2KeyArray)
  .map{case (c1, c2) => df1(c1) === df2(c2)}
  .reduce(_ && _)
df1.join(df2, joinExprs, "outer")

另请参阅在 Apache Spark 联接中包含空值