我有一个安装了Cloudera Hadoop的小集群。几天后，我注意到当我运行ifconfig -a命令时，不断出现错误/丢弃/帧。(从高层的角度来看，map reduce作业将平稳运行，没有错误，从最终用户的角度来看没有错误，我想知道如果我做些什么，性能会好得多)
所有节点，包括namenode，都是由相同的redhat kickstart服务器安装和配置的，遵循相同的配方，我会说它们是"相同的"。但是，我没有注意到namenode上有任何网络错误，并且所有datanode上都一致存在网络错误。
例如，我的namenode看起来像:namenode.datafireball.com | success | rc=0 >>
eth4 Link encap:Ethernet HWaddr ...
inet addr:10.0.188.84 Bcast:10.0.191.255 Mask:...
inet6 addr: xxxfe56:5632/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1
RX packets:11711470 errors:0 dropped:0 overruns:0 frame:0
TX packets:6195067 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:6548704769 (6.0 GiB) TX bytes:12093046450 (11.2 GiB)
数据节点:
datanode1.datafireball.com | success | rc=0 >>
eth4 Link encap:Ethernet HWaddr ...
inet addr:10.0.188.87 Bcast:10.0.191.255 Mask:...
inet6 addr: xxxff24/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1
RX packets:27474152 errors:0 dropped:36072 overruns:36072 frame:36072
TX packets:28905940 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:158509736560 (147.6 GiB) TX bytes:180857576718 (168.4 GiB)
我也按照Michael的教程做了一些压力测试，我可以看到错误随着工作的进行而增加。所以在我第一次设置的时候有一些误差。
仅供参考，我们在一个盒子里有两个网卡，前4个端口是嵌入式网卡03:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet (rev 20)，我们根本不使用，我们使用的是0e:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)，这是10Gb网卡。
这是固件的输出和网卡的一些一般信息:
$ ethtool -i eth4
driver: mlx4_en
version: 2.0 (Dec 2011)
firmware-version: 2.8.600
bus-info: 0000:0e:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: no
我很惊讶地发现数据节点会有网络错误，而namenode没有，因为它们有相同的设置和配置。有人能给我一些指导吗?
mr . w .!
回答你的问题，我的假设基于每个组件的功能，namenode只处理元数据信息，只管理块和服务器的位置，请求和响应使用很少的网络带宽。datanode负责大量数据，使用整个网络带宽，因为它传输"大"数据，因此丢弃数据包。
我建议您评估连接到此服务器网络接口配置的交换机端口，如果启用了jumbo帧(MTU = 9000)。
必须在服务器的网络接口设置中验证相同的配置。
检查配置是否丢失的一个好方法是使用命令'ifconfig -a'检查是否有丢失的包，在服务器SO控制台执行:
[root@<hostname> ~]# ifconfig -a
bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST> mtu 9000
inet Ip.Ad.re.ss netmask net.m.as.k broadcast bro.d.ca.st
ether XX:XX:XX:XX:XX:XX txqueuelen 1000 (Ethernet)
RX packets 522849928 bytes 80049415915 (74.5 GiB)
RX errors 274721 dropped 276064 overruns 0 frame 274721
TX packets 520714273 bytes 72697966414 (67.7 GiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
在这种情况下，只在服务器网口配置jumbo帧。
问候,Caseiro .