为什么 SparkUI 不显示 SparkSQL LRU 缓存的内存使用情况？

Question

当我运行sql查询spark-sql将使用LRU缓存。为什么LRU缓存使用不反映在spark的web ?根据响应时间，我觉得我的查询缓存，但"内存使用"显示"0.0 B/707.0 MB"Spark版本为1.3.1

Answer 1

Spark显示缓存状态
它可以通过Spark应用程序UI上的"存储"选项卡获得。它将显示存储级别(缓存类型)，缓存分区的数量，内存大小&磁盘大小。

您没有指定如何使用Spark缓存机制。
Spark缓存必须明确启用。
你可以在这里查看如何启用/禁用Spark表的缓存

您还可以使用以下命令启用rdd/DataFrams的缓存:

rdd.cache() / df.cache() 
rdd.persist(StorageLevel newLevel) / df.persist(StorageLevel newLevel)