Spark 3.1.2 与 3.0.2 相比有什么重大变化，导致磁盘空间已用，而内存足够可用

Question

如本片段所示，Spark 3.1.2只运行了3个多小时，内存充足，但仍在使用磁盘空间Spark 3.1.2 UI图像

此图显示Spark 3.0.2 for Spark Streaming Job运行超过90小时时未使用磁盘空间Spark 3.0.2 UI图像

在这两个代码中都是相同的，只是更新了Spark版本。我还注意到Spark 3.1.2使用的内存比Spark 3.0.2多。GC Collection也有什么变化吗？非常感谢在这方面的任何帮助。

Answer 1

从3.1.1升级时，我遇到了类似的问题。我能够使用集群启动后打印的日志来比较两个版本的默认设置。

我注意到在3.1.2中AllocateRefetchInstr的全局标志不同，但我无法更新该值来测试性能。

查看日志中打印的默认设置。