EC2上的Hadoop MapReduce错误 - 从Master/IP调用到Master:9000失败

Question

因此，我在私人AWS VPC上设置了一个简单的2节点hadoop群集。因此，我使用的是私人IP和DNS，而不是它们给您的AWS。

我的HDF启动和运行，我可以使用文件系统来创建和移动文件/目录。但是，当我尝试运行简单的MapReduce作业（例如WordCount）时，我会收到以下错误：

 Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
java.net.ConnectException: Call From master/10.205.232.248 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

我的/etc/主机看起来像这样：

10.205.232.248 <master_hostname> ip-10-205-232-248 master
10.205.232.249 <slave_hostname> ip-10-205-232-249 slave
127.0.0.1 localhost.localdomain localhost
127.0.0.1 localhost4.localdomain4 localhost4

我的core-site.xml：

<property>
 <name>fs.defaultFS</name>
 <value>hdfs://master:9000</value>
</property>

我的mapred-site.xml：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapred.job.tracker</name>
                <value>10.205.232.248:9001</value>
        </property>

我的纱线site.xml：

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHander</value>
        </property>

我忽略了哪种配置设置以获取此连接错误？谢谢！

Answer 1

在AWS安全组（入站和出站）中打开机器和端口中的防火墙