使用 copyToLocal 从 HDFS 复制的路径

Question

>我正在尝试从HDFS复制 当我运行这个时，什么也没发生。

hadoop fs -copyToLocal out1 ~/datatemp

我假设我应该为 HDFS 文件包含更长的路径？out1是存储在HDFS上的目录，~/datatemp是本地磁盘上的目标目录。 我做的对吗？为什么~/datatemp中什么都没有出现？我如何知道out1的完整路径

我也试过

hadoop fs -get out1 ~/datatemp

Answer 1

要将整个out1HDFS目录复制到本地磁盘：

hadoop fs -copyToLocal /hdfs/path/to/out1 ~/datatemp

要复制HDFS目录中out1文件，请说file1.txt：

hadoop fs -copyToLocal /hdfs/path/to/out1/file1.txt ~/datatemp

要复制 HDFS 目录中out1所有文件：

hadoop fs -copyToLocal /hdfs/path/to/out1/* ~/datatemp

要查找out1目录在HDFS上的位置，您可以列出并搜索：

hadoop fs -ls -R / | grep out1

Answer 2

对于使用不同版本Hadoop的人，你可以使用hdfs dfs。

喜欢这个：

hdfs dfs -get hdfs:/path/to/hdfs/directory /home/local/directory