Spark SQL:它如何告诉Hive在Spark上运行查询

Question

正如这里正确指出的那样：在 Hive 上执行 Spark SQL 查询

Spark SQL在通过HiveContext运行时将使SQL查询使用Spark引擎。

Spark SQL 设置如何hive.execution.engine=spark告诉 Hive 这样做？

请注意，这会自动工作，我们不必在 hive-site 中指定它.xml在 spark 的 conf 目录中。

Answer 1

这里有2个独立的项目

1. Hive on Spark - 将 Spark 集成为附加引擎的 Hive 项目。
2. Spark SQL - 使用 Hive 代码的 Spark 模块。

HiveContext属于第 2 个，hive.execution.engine是第 1 个的属性。