获取所有用户执行的火花作业的目标目录/位置

Question

我正在开发一个报告工具，我需要找出集群上所有用户执行的火花作业的已保存RDD的输出位置。我尝试了火花历史服务器 API/火花事件日志/火花侦听器/YARN 日志，但无法在那里获得已执行作业的位置。

提前谢谢你...

Answer 1

最终输出位于您传递给HadoopRDD或数据帧上调用的{{write（path： String）}}的路径下。