如何使用另一个数据帧的值创建数据帧

Question

我正在使用以下代码获取suppId DataFrame。

val suppId = sqlContext.sql("SELECT supp_id FROM supplier")

DataFrame返回单个或多个值。

现在我想使用suppId DataFrame中的值supp_id创建一个DataFrame。但不明白，怎么写这个。

我已经写了下面的代码。但代码不起作用。

val nonFinalPE = sqlContext.sql("select * from pmt_expr) 
nonFinalPE.where("supp_id in suppId(supp_id)")

Answer 1

我花了一秒钟的时间才弄清楚你想做什么。但是，看起来你想要来自nonFinalPe的行也在suppId中。你可以通过对两个数据帧进行内部连接来获得这一点，这看起来像下面

val suppId = sqlContext.sql("SELECT supp_id FROM supplier")
val nonFinalPE = sqlContext.sql("select * from pmt_expr") 
val joinedDF = nonFinalPE.join(suppId, nonFinalPE("???") === suppId("supp_id"), "inner")