如何设置集群中每个节点的任务跟踪器数量



我看到我们可以设置每个任务跟踪器的map/reduce任务数量,但是我如何设置集群中每个节点的任务跟踪器数量?

我如何关闭安全性,以便我可以在每个节点运行多个任务跟踪器?设置dfs就足够了吗?

hdfs-site.xml中的权限

阿伦

为什么需要多个任务跟踪器?您可以运行多个作业,这取决于您在任务跟踪器中设置的插槽数量。JobTracker与tasktracker对话,以查找它是否在服务器上有任何空闲槽(从数据所在的同一节点开始,如果不能,则从其他地方开始)如果您有多个tasktracker,它们将无法意识到服务器上的实际负载,并且性能可能会恶化

你应该设置插槽的数量,最大数量的映射和最大数量的减少取决于你的节点的内存和cpu能力(你可以开始与核心每任务,但如果你知道你的任务是低cpu,你可以设置更高)

如果您有一个单线程模型的8核机器,为datanode留出一个线程,为tasktracker留出一个线程,那么您可以有6个线程可用。根据程序的需要,你可以有4个映射,2个减少器。如果映射不是CPU密集型的,您可以增加映射器的数量。还要根据系统的RAM为每个map/reduce任务分配适当的内存。

最新更新