将目录从远程 HDFS 本地文件系统复制到我的本地计算机

Question

我的本地hdfs环境中有一个目录，我想将其复制到本地计算机。我正在使用 ssh(使用密码(访问 hdfs。

我尝试了许多建议的复制命令，但没有奏效。

我尝试过：

scp ‘username@hn0-sc-had:Downloads/*’ ~/Downloads

如本链接所述。 我做错了什么？

Answer 1

SCP 将从远程 Linux 服务器复制。

HDFS不存在于单个服务器上，或者是一个"本地文件系统"，因此SCP不是直接从中复制的正确工具

您的选项包括

1. 通过 SSH 连接到远程服务器
2. 使用hdfs dfs -copyToLocal为了从HDFS中提取文件
3. 使用计算机中的 SCP 获取刚刚下载到远程服务器上的文件

或

1. 使用来自远程服务器的 XML 文件配置本地 Hadoop CLI
2. 从您自己的计算机直接对 HDFS 使用hdfs dfs -copytoLocal

或

1. 安装 HDFS NFS 网关
2. 在本地计算机上挂载 NFS 卷，并从中复制文件