火花存储器部分和执行器存储器开销



什么是"spark.executor.memoryOverhead";以及";火花。记忆。分数";?

的默认属性是什么

spark.memory.fraction参数可用于分别理解可用于存储的内存和可用于执行的内存。如果你在内存中缓存了太多的对象,那么你将需要更多的存储空间(spark.memory.fraction可以是0.5/0.6(。但是,如果你使用内存主要用于执行,那么你需要内存来执行(spark.memory.fraction可以是0.2/0.3(。

最新更新