Hadoop YARN版本的流式命令行选项的完整列表是什么

Question

我浏览了Hadoop网站，发现了以下Hadoop流的链接。

https://hadoop.apache.org/docs/current1/streaming.html

但是，我更感兴趣的是HadoopYARN(MRv2)-流命令行选项。

如果有人有详尽的清单，你能把它贴在这里吗？

如果找不到，有人能告诉我以下命令中的任何命令行选项是否非法吗。

yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar 
-D mapred.jab.name="Streaming wordCount Rating" 
-D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator 
-D map.output.key.field.separator=t 
-D mapreduce.partition.keycomparator.options=-k2,2nr 
-D mapreduce.job.reduces=${NUM_REDUCERS} 
-files mapper2.py,reducer2.py 
-mapper "python mapper2.py" 
-reducer "python reducer2.py" 
-input ${OUT_DIR} 
-output ${OUT_DIR_2} > /dev/null

Answer 1

如果您想查看所有Hadoop流式传输命令行选项，请参阅StreamJob.java-setupOptions()：

allOptions = new Options().
addOption(input).
addOption(output).
addOption(mapper).
addOption(combiner).
addOption(reducer).
addOption(file).
addOption(dfs).
addOption(additionalconfspec).
addOption(inputformat).
addOption(outputformat).
addOption(partitioner).
addOption(numReduceTasks).
addOption(inputreader).
addOption(mapDebug).
addOption(reduceDebug).
addOption(jobconf).
addOption(cmdenv).
addOption(cacheFile).
addOption(cacheArchive).
addOption(io).
addOption(background).
addOption(verbose).
addOption(info).
addOption(debug).
addOption(help).
addOption(lazyOutput);

与MapReduce相关的选项是所有MapReduce应用程序的常规选项，要查看这些选项是否有效，请查看mapred-default.xml配置变量。仅供参考：这是指Hadoop 2.8.0，因此您可能需要为您的Hadoop版本找到合适的XML。