使用数据框时是否可以定义主键?我有两个数据框,我已经在"ID"上连接了它们。现在我想选择"日期",并在输出中收到了主键"ID"。
val join1 = df_2.join(df_3, df_3.col("ID") === df_2.col("APPLICATION2_ID"))
val joinFinal = join1.join(df_1, df_1.col("ID") === join1.col("ID"))
为了在连接相同命名的列时摆脱重复的列,请使用 Seq 版本:
val joinFinal = join1.join(df_1, Seq("ID"))