在 Yarn 上运行 Spark SQL,找不到 CDH5.3 类



我可以在独立模式下完美地运行Spark-SQL和Spark,但是当涉及到yarn mode.spark告诉我它找不到hive类(一些基本的类,如org/apache/hadoop/hive/ql/plan/TableDesc)。

所以我将 Hive 库添加到 compute-classpath.sh 失败了。然后我想如果纱线不起作用并且独立工作正常。也许我应该更改 Yarn 类路径以包含 Hive Lib。

然后我又失败了。

我只是不明白 Hive 库发生在我的 Yarn 启动日志和 Spark 输出中,为什么我的 Hive SQL 告诉我找不到基本的 Hive 类?

谢谢大家对我的帮助

试试这个,添加spark.executor.extraClassPath=/opt/cloudera/parcels/CDH/lib/hive/lib/*

您很可能遇到类路径问题。请参阅本故障排除指南的"类路径问题"部分](http://www.datastax.com/dev/blog/common-火花疑难解答)。请注意设置spark-submit调用的--jars选项,并在创建SparkConfig时传递其他罐子。

相关内容

  • 没有找到相关文章

最新更新