如何将数据帧值(以 bigint 为单位)传递给另一个数据帧的筛选条件

Question

首先获取mxdt

val mxdt = spark.sql("""select max(as_of_date) from db.table""")
mxdt: org.apache.spark.sql.DataFrame = [mxdt: bigint]

如何将mxdtdf中的上述bigint值传递给下面的查询筛选条件？

val rate = spark.table(db.table).filter(col("as_of_date") === ***mxdt***)

Answer 1

使用collect获取整数值：

val mxdt = spark.sql("""select max(as_of_date) from db.table""").collect()(0)(0)
val rate = spark.table(db.table).filter(col("as_of_date") === mxdt)