Webhdfs 返回错误的数据节点地址

Question

curl -i -X PUT "http://SomeHostname:50070/webhdfs/v1/file1?op=CREATE"
HTTP/1.1 307 TEMPORARY_REDIRECT
Content-Type: application/octet-stream
Location: http://sslave0:50075/webhdfs/v1/file1?op=CREATE&overwrite=false
Content-Length: 0
Server: Jetty(6.1.26)

在这里它为数据节点返回 sslave0，对我来说似乎是一个内部地址

Answer 1

使用 WebHDFS，在您的情况下，NameNode Web 界面@port 50070 接受 put 请求并分配有关要存储的文件的元数据信息。然后，它会返回到数据节点地址（ssalve0：50075 地址）的重定向，其中完成了实际的 Http PUT。

底线 - 名称节点不存储任何真实数据，只存储元数据。它是存储文件实际信息的数据节点 - 因此重定向

如果您希望有一个代理节点，而不必以这种方式处理数据节点，那么您需要改为配置 HttpFs。