在 sql 查询中调用数据帧

Question

有没有办法将数据帧包含在SQL查询中？我实际上正在尝试破坏一个巨大的sql查询并放入多个数据帧并在原始查询中调用这些数据帧。

select * from DF一样？

Answer 1

您可以使用数据帧创建可在 Spark SQL 中使用的临时视图

例如，如果您有数据帧"df"，那么您可以运行它来创建具有任何名称的临时视图，例如"my_table"

df.createOrReplaceTempView("my_table")

现在，您可以使用以下内容在此上运行查询，以将其加载为较新的数据帧：

df2 = spark.sql("select * from my_table")