Spark - 如何使用 - Thirft - Hive Interactor 获取逻辑/物理查询执行

Question

Spark - 如何使用以下内容获取逻辑/物理查询执行

1. 通过节俭
2. 通过火花互动器

Answer 1

您可以通过节

俭直线使用带有查询的解释语句。

EXPLAIN EXTENDED select * from sr23 join sr12 [<join condidtion>]

你的意思是火花拦截器？是spark-sql shell吗？如果是，那么你可以使用上面的查询。

如果你的意思是 spark-shell，那么你需要在数据帧上调用 explain（） 函数。

例如：

val df1 = sqlContext.sql(" < your sql query > ");
df1.explain;

这将给出物理和逻辑计划。您还可以从 SQL 选项卡的 Spark Web UI 中查看它们。

Answer 2

如果您使用的是 Spark 1，则可以通过以下方式获取查询的说明：

sqlContext.sql("your SQL query").explain(true)

如果您使用的是 Spark 2，则相同：

spark.sql("your SQL query").explain(true)

数据帧上提供了相同的逻辑：

yourDF.explain(true) or yourDF.someOperation.explain(true)

其中某些操作可能是对联接或其他内容的选择。