正在YARN上运行Spark作业

Question

我正试图利用集群上的所有资源来运行Spark作业。我在所有节点上都安装了Cloudera Manager。这是我用来提交作业的命令。

spark-submit --master yarn 
             --deploy-mode cluster 
             file:///[spark python file]
             file://[app argument 1]
             file://[app argument 2]

在执行过程中，我收到以下错误：

diagnostics: Application application_1450777964379_0027 failed 2 times due to AM Container for appattempt_1450777964379_0027_000002 exited with  exitCode: 1

任何关于如何修复它的想法都将不胜感激。

编辑1WEB UI无法访问安装了Spark的机器。我尝试下载源代码，并阅读了更多关于异常的信息。

------------------------------------------------------------
| Job | Description                                        | 
------------------------------------------------------------
| 0   | saveAsTextFile at NativeMethodAccessorImpl.java:-2 | 
------------------------------------------------------------

Answer 1

从这里开始，

如果路径以file://或hdfs://开头，则路径变为ile://或dfs://。如果路径是绝对路径，则删除第一个斜线。

没有什么特别的原因，需要解决。

尝试使用绝对路径而不是file://