HADOOP -编写YARN应用程序



我正在阅读这篇文章,我有点困惑。我必须总是写客户端和ApplicationMaster类在YARN运行我自己的代码吗?例如,如果我想运行一个只生成随机数的应用程序,我是否必须将这些类包含到我的代码中,或者它可以不使用这些类来运行?或者,它们都是不同的例子,因为我看到了两个主类(每个类一个主类)?我尝试了所有这些方法,但我仍然得到类似错误的东西-> usage [input][ouput]:

编写原生YARN应用程序可能有点尴尬,因为Hadoop YARN项目没有更高级别的框架来帮助解决这个问题。然而,有几个项目正在做繁重的工作,所以用户不需要担心这个样板代码。

  • Spring YARN for Apache Hadoop with YARN Samples

  • Apache斜纹
  • 滑块
  • 在你发布的链接中,是的,有两个主要的类,一个用于运行在YARN上部署和启动应用程序的客户端,另一个用于appmaster。

您可以使用位于$Yarn_Home/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar的jar文件中的示例。

的例子:

yarn jar $Yarn_Home/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar wordcount/in/out

/in和/out位于hdfs中。您需要在/in和/out中放入一些以前不存在的文本文件。

检查这个参考:http://hortonworks.com/blog/introducing-apache-hadoop-yarn/

https://github.com/hortonworks/simple-yarn-app

相关内容

  • 没有找到相关文章

最新更新