顶点失败.Azure HDINSIGHT hive内存不足错误

Question

我在加入2个数据集时遇到内存不足的问题;一个包含39M行，另一个包含360K行。

我有2个工作节点，每个工作节点的最大内存为125 GB。

在Yarn中为节点上所有Yarn容器分配的内存= 96GB

最小容器大小(内存)= 3072

Hive settings:

hive.tez.java。opts=-Xmx2728M -Xms2728M -Djava.net.preferIPv4Stack=true -XX:NewRatio=8 -XX:+UseNUMA -XX:+UseG1GC -XX:+ResizeTLAB

hive.tez.container.size = 3410

我应该设置什么值来解决内存不足的问题

Answer 1

我通过使用增加分配的Yarn内存来解决它最小容器大小(内存)= 3072到3840为节点上所有YARN容器分配的内存96到120GB(每个节点有120GB)

为节点上所有容器分配的物理CPU百分比80%

虚拟核数8

https://learn.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-hive-out-of-memory-error-oom