通过修改参数运行terasort
应用程序时,我得到以下错误:
15/05/24 21:41:42 ERROR terasort。输入路径不存在:maprfs:/user/user01/-DXmx1024m
命令我正在运行执行慢跑
$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-
examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2
-Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
如果我删除这些参数–DXmx1024m –Dmapred.reduce.tasks=2 -Dio.sort.mb=1
,那么一切都很好。
我想我正面临着下面的错误,这是张贴在jira,但它的windows https://issues.apache.org/jira/browse/HADOOP-8536
这只是一个从MapR LAB GUIDE复制/粘贴的问题。
只需将虚拟机输入参数中的'-'改为'-'。
查看copy/paste的执行:
-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-
> examples.jar terasort –DXmx1024m –Dmapred.reduce.tasks=2
> -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:24:57 INFO terasort.TeraSort: starting
15/10/26 15:24:59 ERROR terasort.TeraSort: Input path does not exist: maprfs:/user/user01/–DXmx1024m
-bash-4.1$
查看固定命令行时的执行:
-bash-4.1$ hadoop jar /opt/mapr/hadoop/hadoop-0.20.2/hadoop-0.20.2-dev-examples.jar terasort -DXmx1024m -Dmapred.reduce.tasks=2 -Dio.sort.mb=1 /user/user01/6/TERA_IN /user/user01/6/TERA_OUT_2
15/10/26 15:25:26 INFO terasort.TeraSort: starting
15/10/26 15:25:27 INFO input.FileInputFormat: Total input paths to process : 2
....
是否先运行teragen再运行tersort ?
你用的是什么文件系统?为什么"maprfs"。如果不是故意的,检查你的配置文件
15/05/24 21:41:42 ERROR terasort.TeraSort: Input path does not exist: **maprfs**:/user/user01/–DXmx1024m