AWS EMR:"mapred.child.java.opts"选项是按插槽还是按节点设置?



我想知道您是否设置了mapred.child.java.opts选项,它是否设置了每个工作节点或每个映射/减少插槽的内存量?

例如mapred.child.java.opts=Xmx2000m,每个节点或插槽大约 2 GB 吗?

谢谢

通常,

可以为每个节点或每个作业设置mapred.child.java.opts

因此,假设您在节点上同时运行的映射器 ( mapred.tasktracker.map.tasks.maximum) + 化简器 ( mapred.tasktracker.reduce.tasks.maximum ) 是 12 那么mapred.child.java.opts确定该节点为子进程使用了多少 RAM。

前任:

mapred.tasktracker.map.tasks.maximum = 10
mapred.tasktracker.reduce.tasks.maximum = 2
mapred.child.java.opts = -Xmx256m
total ram used by child processes = (10 + 2) * 256m =~ 3GB

最新更新