之外
当我配置纱线时，有一个用于分配内存的JAVA_HEAP_MAX环境变量。当我实例化Spark Worker时，spark.executor.memory会覆盖此值吗？有什么原因我需要通过-XMX手动设置Java堆还是Spark Confs处理？
本质上，我是否需要设置一个初始的Java Heap内存分配，该内存分配大于我将分配给火花的内存还是在默认情况下进行管理 - 以及通过环境变量修改JVM的用例在火花？
我在提交工作时从未做过-xmx。我始终使用spark.executor.memory和驱动程序。我认为这会覆盖。一些加法配置/调音使用https://spark.apache.org/docs/latest/configuration.html#compression-and-serialization
喜欢
spark.memory.fraction