我可以在独立模式下完美地运行Spark-SQL和Spark,但是当涉及到yarn mode.spark告诉我它找不到hive类(一些基本的类,如org/apache/hadoop/hive/ql/plan/TableDesc)。
所以我将 Hive 库添加到 compute-classpath.sh 失败了。然后我想如果纱线不起作用并且独立工作正常。也许我应该更改 Yarn 类路径以包含 Hive Lib。
然后我又失败了。
我只是不明白 Hive 库发生在我的 Yarn 启动日志和 Spark 输出中,为什么我的 Hive SQL 告诉我找不到基本的 Hive 类?
谢谢大家对我的帮助
试试这个,添加spark.executor.extraClassPath=/opt/cloudera/parcels/CDH/lib/hive/lib/*
您很可能遇到类路径问题。请参阅本故障排除指南的"类路径问题"部分](http://www.datastax.com/dev/blog/common-火花疑难解答)。请注意设置spark-submit
调用的--jars
选项,并在创建SparkConfig
时传递其他罐子。