Spark历史服务器也不会显示RDD，即使它持续存在

Question

我正在Spark版本2.0.2中运行Spark Shell。这是我的程序

var myrdd = sc.parallelize(Array.range(1, 10))
myrdd.setName("test")
myrdd.cache
myrdd.collect

但是我仍然无法在Spark历史服务器中的"存储"选项卡中看到任何RDD信息。

我看了这一点，但这没有帮助，因为我在那里提到了确切的类似程序。谁能帮忙？

Answer 1

基本上，Spark历史服务器和Spark UI存在差异。Spark UI仅在火花上下文还活着时可用。Spark History Server即使完成Spark程序完成。Spark历史服务器从事件日志文件中加载数据，该文件在Spark Program Lifececle期间捕获各种事件。但是事件日志不会捕获与RDD相关的事件（以避免增加事件日志文件大小），因此，即使Spark History Server中有"存储"选项卡，它也不会显示任何RDD信息，因为RDD相关的数据不是存储在事件日志中。

Answer 2

spark历史服务器一旦停止上下文显示数据。