关于 cosmos fi-lab SparkTask 错误的蜂巢查询

Question

我在 cosmos fi-lab 全局实例上执行 hive 查询时遇到问题。

首先，问题突然出现。午餐前我的 Hive 查询工作，午餐后运行它，我收到此错误。

java.sql.SQLException：查询返回非零代码：9，原因：失败：执行错误，从 shark.execution.SparkTask 返回代码 -101 at org.apache.hadoop.hive.jdbc.HiveStatement.executeQuery（HiveStatement.java：194） at eu.trentorise.DataProcessor.main（DataProcessor.java：72）2014-12-01 09：57：07,812 致命 [DataProcessor-main] - 异常执行处理器：查询返回非零代码：9，原因：失败：执行错误，返回代码 -101 从 shark.execution.SparkTask

一些细节：

• 我能够成功打开与默认数据库的 JDBC 连接
• 已成功创建外部表。
• 我运行的查询非常简单（ 从中选择计数（*）HIVE_TABLE_NAME;)

请帮助我。

Answer 1

此时，重新启动 Shark 服务器和运行 Shark 的 Spark 集群后，问题就解决了。这对我们来说是一个已知问题，无论出于何种原因，Spark 群集都会消耗所有内存资源并在一定时间后崩溃。仍在努力寻找原因。