联接 Spark 中具有重复列名的表

Question

我正在尝试在 Spark 上连接多个 MySQL 表。其中一些表具有重复的列名（每个表都有一个特定于该表的 id 字段）。

如果我尝试运行：

val myDF = session.read.jdbc("t1 inner join t2 on t1.t2_id = t2.id, queryTable, prop)
myDF.show

我得到java.sql.SQLIntegrityConstraintViolationException: Column 'id' in field list is ambiguous，因为两个表都有一个id字段（具有不同的含义）

我尝试做：

val t1DF = spark.read.jdbc(dbstring, "t1", "id").alias("a")
val t2DF = spark.read.jdbc(dbstring, "t2", "id").alias("b")
val joinedDF = t1DF.join(t2DF, Seq("a.t2_id", "b.id"))
  .selectExpr("ent.id as entity_id", "lnk.pagerank")

我收到错误org.apache.spark.sql.AnalysisException: using columns ['t1.t2_id,'t2.id] can not be resolved given input columns: [..] 分析器似乎不知道如何处理别名。

似乎唯一有效的选项是使用子查询：

spark.read.jdbc(dbstring, "(select t1.id as t1_id, t1.t2_id from 
t1 inner join t2 on t1.t2_id = t2.id) t", "t2_id")

尽管在这种情况下，子查询需要完成运行才能执行任何过滤器，从而使事情变得令人无法接受，并且任何查询分区都毫无用处。

Spark 似乎确实有一些内部方法来消除 id id#528和 id#570 之间的歧义，但我无法找到任何在 select 语句中引用它们的方法。

Answer 1

我遇到了同样的问题。我发现解决这个问题的唯一方法是在列名上添加一个后缀。它看起来像这样：

val t1DF = spark.read.jdbc(dbstring, "t1", "id").select(col("id").alias("id_t1"))
val t2DF = spark.read.jdbc(dbstring, "t2", "id").select(col("id").alias("id_t2"))
val joinedDF = t1DF.join(t2DF, t1DF("id_t1") === t2DF("id_t2"))