Hadoop -在HDFS中手动拆分文件

Question

我提交了一个大小为1gb的文件，我想将这个文件分割成大小为100MB的文件。我如何从命令行做到这一点。我正在搜索这样的命令:

hadoop fs -split --bytes=100m /user/foo/one_gb_file.csv /user/foo/100_mb_file_1-11.csv

是否有办法在HDFS中做到这一点?

Answer 1

在HDFS中，我们不能期望unix中所有可用的特性。当前版本的hadoop fs实用程序不提供此功能。也许我们可以期待在未来。如果在hdfs中包含这个特性，你可能会引发一个bug(apache Jira的改进)。

现在你要用Java写你自己的实现