如何通过URL访问hadoop hdfs并在程序中使用

Question

我的hadoop dfs可以通过

访问

http://localhost:50075/browseDirectory.jsp?dir=%2Fuser%2Fhdone%2Ftext&namenodeInfoPort=50070

在我的程序中，我必须将输入替换为参考我的hdfs

FileInputFormat.addInputPath(conf, new Path("input"));

我的core-site.xml有值hdfs://localhost:54310，我不能使用URL访问。

我的实际hdfs路径是/users/hdone/text2，所有的文件都位于适当的权限。

那么我该怎么写input呢?

Answer 1

您只需将dfs的相对路径提供给您的输入，它将被正确读取。

例如，您创建的输入路径如下:

$ hadoop fs -mkdir my_input_directory
$ hadoop fs -put /home/user/my-test-file.csv my_input_directory/my-test-file.csv

现在，为了运行你的hadoop作业，你可以执行如下命令:

$ hadoop jar my_test_program.jar **my_input_directory** my_output_directory

在你的Java代码中，你可以通过args[0]访问它，像这样:

FileInputFormat.addInputPath(conf, new Path(args[0]));