如何在不同节点集群中调度hadoop map任务

Question

我有一个只有10多个地图的地图程序。我的集群有5个节点，我的问题是:我可以调度运行哪个映射任务到哪个节点吗?例如，让No.1 map运行在node1上，No.3 map运行在node3上，No.9 map运行在node5上。如果可以这样做，那么需要对代码和配置文件进行哪些更改。顺便说一下，我使用HDFS。谢谢!

Answer 1

Hadoop中不能设置map任务到节点映射的Affinity。调度程序根据数据位置/槽状态自动决定在何处运行Map任务。