org.apache.hadoop.ipc.rpcexception:RPC响应超过最大数据长度

Question

我已经在2台机器上设置了hadoop群集。一台机器同时具有主机和从1。第二台机器有从2。当我使用start-all.sh启动群集时，我在secondarynamenode的.out文件中出现了以下错误：

java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169"; destination host is: "hadoop-master":9000;

以下是我的JPS输出

98366 Jps
96704 DataNode
97284 NodeManager
97148 ResourceManager
96919 SecondaryNameNode

有人可以帮助我解决这个错误吗？

Answer 1

我也有这个问题。

请检查core-site.xml(这应该在您下载Hadoop的DIR下，对我来说，路径是：/home/algo/hadoop/etc/hadoop/core-site.xml(

文件应该像这样：

<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/algo/hdfs/tmp</value>
        </property>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

解决方案：使用hdfs://localhost:9000作为ip:port。

Answer 2

可能是您使用的端口号的问题。尝试以下操作：https：//stackoverflow.com/a/60701948/8504709