火花作业在纱线上失败，出现内存错误

Question

我的火花作业失败，出现以下错误： 诊断：容器 [pid=7277，容器 ID=container_1528934459854_1736_02_000001] 正在运行，超出物理内存限制。当前使用情况：已使用 1.4 GB 的 1.4 GB 物理内存;使用了 3.1 GB 的 6.9 GB 虚拟内存。杀戮容器。

Answer 1

你的容器被杀死了。当您的 Yarn 内存不如执行任务所需的内存时，就会发生这种情况。因此，可能的解决方案是增加 Yarn 内存。

您有 2 个选择：

1. 增加节点管理器的当前内存大小
2. 或者在另一个数据节点上分配一个新的节点管理器。

它将增加纱线内存并确保它至少在 2 GB 左右。