使用 Oozie 启动 Spark 作业失败(错误指标系统)



我有一个用 spark-submit 启动的 Spark jar,它工作正常(读取文件、生成 RDD、存储在 hdfs 中(。但是,当我尝试在Oozie作业(oozie:spark-action(中启动相同的jar时,火花作业失败了。

当我查看日志时,出现的第一个错误是:

错误指标系统:接收器类 org.apache.spark.metrics.sink.MetricsServlet 无法实例化。

此外,当我开始使用 Spark 脚本时,我发现问题与 saveAsText 功能有关。当我在不写入HDFS的情况下完成相同的火花工作时,整个工作流程工作正常。

有什么建议吗?

问题出在我正在执行 oozie 作业的 cluste 一侧。

我需要在作业工作流中明确添加参数,仅仅是因为它们没有被考虑在内:

--queue HQ_IBNF --conf "spark.executor.extraJavaOptions=-Djava.library.path=/opt/application/Hadoop/current/lib/native">

相关内容

最新更新