如何将任务重新分配到Hadoop



在Hadoop中,如果一个任务失败,它会分配给另一个节点,如何将任务重新分配给其他节点?当一个任务被分配到一个特定的节点(我想要的节点,例如节点1(时,我想进入MapReduce程序,这个任务将被重新分配(例如节点2(。如何做这项工作?你有个主意吗?

(我使用的是Hadoop2.9.0(

如果使用节点标签,则只能将任务分配给另一个节点或一组节点。Hadoop被设计为在许多节点上运行(对于大多数用户来说,比如20到500个节点(,所以您的用例不会被正常操作覆盖。如果你真的想追求这一点,你有两个选择:

  • 使用容量调度和节点标签
  • 编写一个自定义的应用程序母版,以便控制要向哪些节点管理器启动容器

参考文献

  • YARN节点标签
  • Hadoop:编写YARN应用程序:编写ApplicationMaster(AM(

最新更新