在使用纱线的FIFO调度程序(FIFO为默认?)时,我发现YARN保留一些内存/CPU来运行该应用程序。我们的应用程序不需要保留任何一个,因为我们希望固定数量的内核来根据用户帐户执行任务。保留的内存使我们的计算不准确,因此我想知道是否有任何解决方法。如果无法删除这一点,我们正在尝试扩展群集(我们正在使用GCP上的dataproc),但是如果没有优雅的退役,则按比例扩展了群集正在关闭工作。
-
有什么方法可以摆脱保留的内存?
-
如果没有,是否有任何方法可以实施优雅的退役2.8.1?我发现了3.0.0 alpha(GCP只有Beta版本)的案例,但找不到2.8.1的工作说明。'
预先感谢!
关于2,dataproc支持纱线优美的退役,因为dataproc 1.2使用hadoop 2.8。