我正在尝试将mapreduce上的 hive 2.1.1切换为spark上的蜂巢。正如Spark官方网站上的Hive所说的那样，我在没有Hive的情况下构建了spark 1.6.0(在Hive 2.1.1源代码POM中进行Spark Rev(。Spark-submit/spark-shell测试正常工作。我设置了
spark.executor.cores/spark.executor.memory
在 hive-site.xml中，也限制了这2个
spark_worker_cores/spark_worker_memory
在spark-env.sh中。但是，在我从Hive CLI中启动像select count(*)这样的Hive查询之后，Spark Master Web UI中的作业始终使用0个CPU内核，因此该作业未执行，并且像CLI中的hive查询等待一样。并且Spark群集是在Docker环境上设置的，每个服务器都是在服务器上运行的Docker容器，并将添加到 160核/160G内存。在我设置 spark_worker_cores/spark_worker_memory 之前，始终应用156个内核，这也导致失败而没有足够的资源。在我设置 spark_worker_cores/spark_worker_memory 限制为分配给Docker容器的资源时，应用0时，应用于0。
我已经陷入困境2天没有进步。希望从docker上熟悉Hive或在Docker Env。
我认为Spark执行引擎根本与Hive完全不错。您正在尝试与Spark集成的蜂巢版本是使用Spark 2.0.0构建的，而不是1.6.0以前进行了很多讨论。在这里查看线程由于许多用户在该线程上报告，因此最好使用TEZ。