如何在Elastic MapReduce上设置Hadoop 2.4.0下每个节点的精确并发任务数

Question

根据http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/，确定每个节点并发运行任务数的公式为:

min (yarn.nodemanager.resource.memory-mb / mapreduce.[map|reduce].memory.mb, 
     yarn.nodemanager.resource.cpu-vcores / mapreduce.[map|reduce].cpu.vcores) .

但是，将这些参数设置为(对于c3.2xlarge的集群):

yarn.nodemanager.resource。内存-mb = 14336

mapreduce.map.memory。MB = 2048

yarn.nodemanager.resource。Cpu-vcores = 8

mapreduce.map.cpu。Vcores = 1，

我发现当公式说7应该是时，每个节点最多只能同时运行4个任务。这是怎么回事?

我在AMI 3.1.0上运行Hadoop 2.4.0

Answer 1

我的经验公式不正确。Cloudera提供的公式是正确的，并且似乎给出了并发运行任务的预期数量，至少在AMI 3.3.1上是这样。