此图非常清楚不同YARN和Spark内存相关设置之间的关系,spark.python.worker.memory
除外。
spark.python.worker.memory
如何适应这种内存模型?
Python进程是由spark.executor.memory
还是yarn.nodemanager.resource.memory-mb
管理的?
更新
这个问题解释了设置的作用,但没有回答有关内存管理的问题,也没有回答它如何与其他内存设置相关的问题。
从Apache spark邮件列表中找到了这个线程,并且spark.python.worker.memory似乎是spark.executer.memory中内存的子集。
从线程:"spark.python.worker.memory用于executor中的python worker"