MapReduce using Tez



我正在创建一个验证工具,检查Apache Tez是否在Hadoop的hortonworks分布中工作,为了做到这一点,我需要检查一个简单的map reduce程序是否正在Tez上执行,我可以看到mapred-default.xml中的一个属性必须更改。

mapreduce.framework.name = yarn-tez (ref: http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.0.2/bk_installing_manually_book/content/rpm-chap-tez-2.html)

我不想改变集群的任何设置,那么我是否可以使用Tez运行MapReduce而不触及mapred-default.xml ?

可以使用"bin/hadoop jar hadoop-mapreduce-examples.jar wordcount -Dmapreduce.framework.name=yarn-tez input output"

"-Dkey=value"可用于覆盖*-site.xml文件中指定的大多数配置属性。

或者,您可以运行本地Tez示例来验证设置(根据Tez版本从Tez -examples.jar/Tez - MapReduce -examples.jar),而不是依赖于在Tez模式下运行MapReduce作业。

相关内容

  • 没有找到相关文章

最新更新