我使用的是在Yarn上运行的Spark 1.5.2。
有时，应用程序的Spark web UI在完成后会变空，为什么？我该如何解决
例如，今天我推出了一个pyspark应用程序，并在控制台和Spark Web UI上跟踪它的进展。所以我知道它运行正确，正如你在下面的屏幕截图上看到的那样：
- DAG可视化工具，在处理时
但在这个过程之后，历史变成了空的：
- Spark作业历史记录显示应用程序完成过程时的空历史记录
当脚本完成时，我在控制台上收到了以下警告（我不知道它是否与问题有关）：
02年5月16日17:36:49警告AkkaRpcEndpointRef：在1次尝试中发送消息[message=RemoveExecutororg.apache.spark.rpc.RpcTimeoutException：收件人[Aactor[akka://sparkDriver/user/CoarseGrainedScheduler#313705968]]已被终止。。此超时由spark.rpc.askTimeout控制[…]02年5月16日17:36:51 WARN ReliableDeliverySupvisor：与远程系统[…]的关联失败，地址现在被选通了[5000]ms。原因：[Disassociated]02年5月16日17:36:51 WARN ReliableDeliverySupvisor：与远程系统[…]的关联失败，地址现在被选通了[5000]ms。原因：[Disassociated]
从第二个屏幕截图来看，是Jobs页面。您需要单击作业id链接才能查看作业DAG。