Hadoop YARN 无法从数据节点启动资源管理器(EC2 上的 Ubuntu 16.04)

Question

我正在尝试使用AWS EC2S在4个节点上构建一个hadoop群集，所有ubuntu 16.04。

一切似乎都可以正常工作，并且日志文件在格式化名称或运行start-dfs.sh和start-yarn.sh

时不会产生任何错误

但是，当我尝试将文件上传到HDFS时，数据台似乎在连接到资源管理器时遇到问题。Namenode上的通用错误告诉我，运行了0个节点，并且数据节点的日志文件告诉我：

INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Registering with RM using containers :[]
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: ip-10-0-0-190.eu-central-1.compute.internal/10.0.0.190:8025. Already tried 0 time(s); maxRetries=45

它指向Namenode（10-0-0-190）的私有IP地址，这是同一VPC中的另一个EC2实例。

yarn-site.xml在每个节点（数据和名称节点）的外观相同，都指向Namenode：

<?xml version="1.0"?>
<!--
  ...
-->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>10.0.0.190:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>10.0.0.190:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>10.0.0.190:8050</value>
    </property>
</configuration>

我找不到我在做错什么，我发现很难根据这些日志错误/警告说出什么问题。

高度赞赏帮助！如果需要，我可以提供更多详细信息/日志/配置详细信息。

Answer 1

您是否在数据节点中更新了/etc/hosts文件？还可以在数据节点上运行JPS命令以查看它们是否正在运行。