如果ResourceManager down怎么办?

Question

在最新版本的Hadoop mapreduce(称为'Yarn')中，JobTracker(在以前的版本中存在)已经被ResourceManager(称为'RM')和ApplicationMaster所取代。在关于Yarn架构的官方文档中，并没有说在一个MapReduce集群中有多少个RM，并且给出的关于Yarn架构的图显示在一个集群中只有1个RM。

那么，如果唯一的RM down了呢?如果有几个rm，它们是如何协同工作的?

希望有人能给我解释一下。谢谢。

Answer 1

每个机架有1个resourcemanager，但您可以在集群中有多个机架。

如果你试图在resourcemanager关闭时提交作业，Hadoop将尝试连接到resourcemanager，因为它需要它来执行作业。

下面是RM关闭并尝试提交作业时的日志示例:

14/06/06 09:39:54 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:55 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
14/06/06 09:39:56 INFO ipc.Client: Retrying connect to server: hadoop01.sii.fr/10.6.6.211:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)  

RM返回时，作业正在正确提交。