spark.python.worker.memory与spark.executer.memory的关系如何



此图非常清楚不同YARN和Spark内存相关设置之间的关系,spark.python.worker.memory除外。

spark.python.worker.memory如何适应这种内存模型?

Python进程是由spark.executor.memory还是yarn.nodemanager.resource.memory-mb管理的?

更新

这个问题解释了设置的作用,但没有回答有关内存管理的问题,也没有回答它如何与其他内存设置相关的问题。

从Apache spark邮件列表中找到了这个线程,并且spark.python.worker.memory似乎是spark.executer.memory中内存的子集。

从线程:"spark.python.worker.memory用于executor中的python worker"

相关内容

  • 没有找到相关文章

最新更新