我首先需要使用以下方式备份整个Hadoop DataNode数据目录:
hdfs dfs -copyToLocal /var/hadoop/dfs/name/data /home/ubuntu/hadoopfiles
我有一个错误:
" no opr目录" for/var/hadoop/dfs/name/data
经过一些搜索,我发现了这个堆栈溢出主题,其中包含示例:https://stackoverflow.com/questions/28213116/hadoop-copy-a-local-file-system-folder-to-hdfs# = =
,但即使我这样做:
hdfs dfs -ls
我收到错误消息LS:`。':没有这样的文件或目录
我还研究了其他帖子,这似乎是一个很普遍的问题,但是我找不到解决方案。
谢谢。
首先,使用
hadoop fs -get /theFolder
要将其复制到当前目录中。
然后,您可以使用SCP或我对Rsync的偏爱来在框和本地系统之间复制文件。这是使用 - get之后,仍在同一目录中使用rsync:
rsync -av ./theFolder username@yourlocalmachine:/home/username
这将从盒子上的本地FS复制Folder,并在计算机FS上的主文件夹中。在这两种情况下,请务必用您的实际用户名替换用户名,以及使用机器的主机名或IP地址替换localmachine。
请参考此答案
从Hadoop到本地机器的复制
或查看此链接SCP方法