我想知道您是否设置了mapred.child.java.opts
选项,它是否设置了每个工作节点或每个映射/减少插槽的内存量?
例如mapred.child.java.opts=Xmx2000m
,每个节点或插槽大约 2 GB 吗?
谢谢
通常,
可以为每个节点或每个作业设置mapred.child.java.opts
。
因此,假设您在节点上同时运行的映射器 ( mapred.tasktracker.map.tasks.maximum
) + 化简器 ( mapred.tasktracker.reduce.tasks.maximum
) 是 12 那么mapred.child.java.opts
确定该节点为子进程使用了多少 RAM。
前任:
mapred.tasktracker.map.tasks.maximum = 10
mapred.tasktracker.reduce.tasks.maximum = 2
mapred.child.java.opts = -Xmx256m
total ram used by child processes = (10 + 2) * 256m =~ 3GB