Spark 群集在运行后失败，并且不会引发异常

Question

我正在尝试在EC2 Yarn命令行上运行一个独立的Spark应用程序。我正在提交以下火花提交脚本：

./bin/spark-submit   --class PageRankGraphX   --master yarn-cluster  --properties-file spark-defaults.conf.2   --executor-memory 2G   --total-executor-cores 5   ./SparkPageRank-assembly-1.0.jar s3://linkfilefull/full/links_small.txt s3://conansoutputbucket/smalloutput.txt 10 0.15 2

这是输出 - 没有引发异常或错误，作业在运行后只是失败：

15/04/15 21:27:03 INFO yarn.Client: Application report from ASM:
         application identifier: application_1429126831428_0027
         appId: 27
         clientToAMToken: null
         appDiagnostics:
         appMasterHost: ip-172-31-1-67.eu-west-1.compute.internal
         appQueue: default
         appMasterRpcPort: 0
         appStartTime: 1429133214320
         yarnAppState: RUNNING
         distributedFinalState: UNDEFINED
         appTrackingUrl: http://172.31.10.227:9046/proxy/application_1429126831428_0027/
         appUser: hadoop
15/04/15 21:27:04 INFO yarn.Client: Application report from ASM:
         application identifier: application_1429126831428_0027
         appId: 27
         clientToAMToken: null
         appDiagnostics:
         appMasterHost: ip-172-31-1-67.eu-west-1.compute.internal
         appQueue: default
         appMasterRpcPort: 0
         appStartTime: 1429133214320
         yarnAppState: FINISHED
         distributedFinalState: FAILED
         appTrackingUrl: http://172.31.10.227:9046/proxy/application_1429126831428_0027/A
         appUser: hadoop

有谁知道可能导致这种情况的原因或我如何调查？当我尝试访问 yarn 日志时，它说日志已禁用或未准备好。

Answer 1

查看 Amazon 关于启用对 Hadoop Web UI 的访问的文档。 进入 UI 后，可以检查应用程序的 stderr 输出，其中最有可能出现异常。 正如其他人提到的，此日志也将在 S3 上提供。