Hadoop 2.x 多节点群集安装

Question

我是Hadoop的新手。我在网络上找到了一些关于安装Hadoop2.x多节点集群的链接。我的疑问是，在所有节点上安装 JVM、创建相同的用户名、ssh 配置、在所有节点上配置之后，如何将客户端计算机连接或配置到集群以便将数据从本地复制到 hdfs？

Answer 1

首先将本地目录复制到 namenode 上未被任何 Yarn 进程使用的目录：

rsync -a <local_dir> <user>@<namenode>:/path/to/dest/

然后登录到名称节点并运行：

hadoop fs -copyFromLocal /path/to/dest hdfs:///path/to/hdfs