向现有hadoop集群运行hadoop命令所需的最小映像

Question

我想通过Docker镜像运行hadoop命令到现有的hadoop集群。

例如:

hadoop dfs - ls hdfs://192.168.10.1:1234/

是否有最小映像来运行该命令?(如。直接使用namenode image?)

Answer 1

使用正确的配置文件

https://hub.docker.com/r/ryneyang/hadoop-client

但是，最好将其视为参考，并相应地创建自己的参考，因为这可能是绝对的。

https://github.com/linehrr/hadoop-client-docker/blob/master/Dockerfile

基本上你需要做的是安装Hadoop二进制文件和设置配置文件(core-site.xml, hdfs-site.xml)

你也可以把WebHDFS和httpFS作为与namenode交互的潜在选项