Spring Yarn @OnContainerStart -如何调用Mapper

Question

我正在使用Spring Yarn包与Spring Boot，我正试图找出如何从@OnContainerStart事件启动Mapper。如何向映射器传递参数?我如何配置使用哪个映射器/reducer ?我正在努力遵循这个指南

谢谢

Answer 1

我相信你正在尝试创建一个简单的Apache Hadoop MapReduce应用程序，而Spring YARN并不适合这个。

要使用Spring开发MapReduce作业，您可以查看我们的参考文档，这些文档可以在Spring for Apache Hadoop

中找到。

Spring YARN是一个开发应用程序的框架，它可以在Apache Hadoop YARN上运行，而不是在MapReduce应用程序上运行。这很容易被误解，因为Hadoop YARN被广泛用作Apache Hadoop MapReduce V2的同义词。新的MapReduce V2实际上是一个简单的YARN应用程序，运行在YARN上，YARN是Hadoop的一个新的资源调度框架。

话虽如此，如果你想在YARN上运行一些完全不同于MapReduce的任务，那么Spring YARN将是一个正确的选择。