火花执行器存储器切至1/2



我正在做这样的spark提交spark-submit--class com.mine.myclass--master yarn cluster--num executors 3-executor memory 4G spark-examples_210-1.0.jar

在web ui中,我可以看到确实有3个执行器节点,但每个节点都有2G的内存。当我设置--executor内存2G时,ui显示每个节点1G。

它是如何将我的设置减少1/2的?

Web UI的执行器页面显示存储内存量,默认情况下等于Java堆的54%(spark.storage.safetyFraction 0.9*spark.storage.memoryFraction 0.6)