问题状态:
Hive LLAP 守护程序不使用群集 VCPU 分配。80-100 个内核可用于 LLAP 守护程序,但只能使用 16 个。
总结:
我正在使用 2 个 D14_v2 头节点、16 个D14_V2工作节点和 3 个 A 系列 Zookeeper 节点在 Azure 上测试 Hive LLAP。(D14_V2 = 112GB 内存/12vcpu(
16 节点群集的 15 个节点专用于 LLAP
发行版是 HDP 2.6.3.2-14
目前,该集群总共有 1.56TB 的可用内存和 128vcpu。LLAP 守护程序分配了适当的内存量,但 LLAP 守护程序总共仅使用 16 个 vcpu (每个守护程序 1 个 vcpu + 滑块的 1 个 vcpu(。
配置:
我的相关配置如下:
- hive.llap.daemon.num.executors = 10(每个可用的 vCPU 中的 12 个中有 10 个( 节点(
- 每个容器的纱线最大核心数 - 8
其他:
我一直在对集群进行负载测试,但无法让更多的 vcpu 参与该过程。任何想法或见解将不胜感激。
资源管理器 UI 只会显示查询协调器和滑块的核心和内存分配,LLAP 中的每个查询协调器占用 1 个核心和最小分配的 Tez-AM 内存 (tez.am.resource.memory.mb(。若要检查 HDP 2.6.3 版本的 LLAP 服务的实时核心使用情况,请执行以下步骤:
安巴里 -> 蜂巢 -> 快速链接 -> 格拉法纳 -> 蜂巢 LLAP 概述 ->总执行槽