如何将数据目录从HDFS复制到本地FS



我首先需要使用以下方式备份整个Hadoop DataNode数据目录:

hdfs dfs -copyToLocal /var/hadoop/dfs/name/data /home/ubuntu/hadoopfiles

我有一个错误:

" no opr目录" for/var/hadoop/dfs/name/data

经过一些搜索,我发现了这个堆栈溢出主题,其中包含示例:https://stackoverflow.com/questions/28213116/hadoop-copy-a-local-file-system-folder-to-hdfs# = =

,但即使我这样做:

hdfs dfs -ls

我收到错误消息LS:`。':没有这样的文件或目录

我还研究了其他帖子,这似乎是一个很普遍的问题,但是我找不到解决方案。

谢谢。

首先,使用

hadoop fs -get /theFolder

要将其复制到当前目录中。

然后,您可以使用SCP或我对Rsync的偏爱来在框和本地系统之间复制文件。这是使用 - get之后,仍在同一目录中使用rsync:

rsync -av ./theFolder username@yourlocalmachine:/home/username

这将从盒子上的本地FS复制Folder,并在计算机FS上的主文件夹中。在这两种情况下,请务必用您的实际用户名替换用户名,以及使用机器的主机名或IP地址替换localmachine。

请参考此答案

从Hadoop到本地机器的复制

或查看此链接SCP方法

相关内容

  • 没有找到相关文章

最新更新