我有一个用 spark-submit 启动的 Spark jar,它工作正常(读取文件、生成 RDD、存储在 hdfs 中(。但是,当我尝试在Oozie作业(oozie:spark-action(中启动相同的jar时,火花作业失败了。
当我查看日志时,出现的第一个错误是:
错误指标系统:接收器类 org.apache.spark.metrics.sink.MetricsServlet 无法实例化。
此外,当我开始使用 Spark 脚本时,我发现问题与 saveAsText 功能有关。当我在不写入HDFS的情况下完成相同的火花工作时,整个工作流程工作正常。
有什么建议吗?
问题出在我正在执行 oozie 作业的 cluste 一侧。
我需要在作业工作流中明确添加参数,仅仅是因为它们没有被考虑在内: