纱线本地目录-每个节点设置

Question

我在生产集群上不时遇到一系列devops问题。/分区偶尔会在几个节点上不堪重负。长话短说，原来这些节点有1个而不是2个数据驱动器。如果我们的集群上没有以下设置，这就不是问题：

<property>       
<name>yarn.nodemanager.local-dirs</name>       
<value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value> 
</property>

一些devops或其他人注意到较小的节点上没有/data2分区，于是想出了简单地使用/分区的想法。由于/是16GB，一些对数据要求更高的作业会很快填满这个空间。

现在，我的问题是：yarn是否支持yarn.nodemanager.local-dir的每个节点设置？

我通过从故事中删除/data2/hadoop/yarn/local来解决这个问题，但感觉并不完美。

我们使用的是HDP2.6.4。

Thx！

Answer 1

YARN允许这样做，因为每个节点管理器都会读取它的本地YARN-site.xml。然而，我不知道在Ambari中如何做到这一点。