为什么我会在纱线中看到20个节点，但是有30名在Spark中的工人

Question

我旋转30台AWS机器。

当我在主节点的IP 8088上检查YARN UI时，我单击"节点"，我可以看到以下内容：

• 在"活动节点"下，我看到20
• 在"丢失节点"下，我看到0。

我导航到端口18080的Spark Master，我可以看到Pyspark告诉我Alive Workers: 30。在页面的开头。

我在主节点和奴隶上重新启动了所有服务，但仍在发生同样的事情。

我如何让纱线识别所有节点？

Answer 1

通过Namenode上的下面命令检查您的datanode，

sudo yarn node -list -all

，如果找不到所有30个节点，请在您错过的数据台上执行以下命令，

sudo service hadoop-yarn-nodemanager start

并在您的Namenode上执行下面的命令，

sudo service hadoop-yarn-resourcemanager restart

或在您的Namenode中检查/etc/hadoop/conf/slaves，

并在所有节点的/etc/hadoop/conf/yarn-site.xml中检查下面的设置

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>your namenode name</value>
</property>

或在所有节点中写下所有节点的名称和ipadress' /etc/hosts例如，

127.0.0.1 localhost.localdomain localhost
192.168.1.10 test1
192.168.1.20 test2

，您必须执行命令，

/etc/rc.d/init.d/network reload