Hadoop:Yarn和本地内存使用

Question

如果我们为 yarn 保留 80% 的内存，然后由于某种原因，例如内存泄漏，操作系统和本地程序消耗了 50% 的内存。

纱线会知道他只有50%吗？ 对新提交的申请有什么影响？

Answer 1

YARN 不会监视操作系统的可用内存。 它像其他所有内容一样作为正常进程运行。 因此，每当请求的内存多于可用内存时，操作系统将执行它所做的事情。

RE：MapReduce，大多数MR作业通常使用的内存远远少于它们需要的内存，因此在大多数情况下，本地进程过度消耗内存不会引起任何问题。 YARN 开发人员已经注意到这种未充分利用的模式，并启用了机会容器功能以最大限度地提高节点效率。