Hadoop CDH5 在 10 个节点上使用 1 个 MapReduce TaskTracker 的最大网络性能

Question

我正在尝试使用CDH5 Cloudera获得最大的网络性能，该Cloudera具有10个节点和1个MapReduce TaskTracker，但似乎无法获得流量来产生我需要的流量。 我有 40G 网卡，目前最多只能获得 10G，这真的很低。

当使用1 MapReduce TaskTracker时，我怎样才能产生更好的性能和网络吞吐量？

正在运行 -- 10 个节点红帽 6.6当前网卡驱动程序CDH5内核：3.18.1

我已经停用了9个MapReduce TaskTracker节点，但仍然没有得到很好的结果。

Answer 1

我终于发现您真的不需要数据节点上的任务跟踪器进行网络 dfsio 测试，所以我停用了所有数据节点"任务跟踪器"并将任务跟踪器放在名称节点上，现在我现在同时拥有 write/tx 和 read/rx 流量，这就是我想要的网络吞吐量数据。