Impala 并发查询延迟

Question

我的集群配置如下：

1. 3 节点群集
2. 每个群集节点 128GB 内存。
3. 处理器：每个群集节点 16 个核心超线程。 所有 3 个节点都有 Kudu master 和 T-Server 和 Impala 服务器，其中一个节点有 Impala 目录和 Impala StateStore。

我的问题如下：

1( 在运行并发查询时，我很难弄清楚 Impala 中的动态资源池。我试过给mem_limit仍然没有运气。我也尝试过静态服务池，但我也无法实现所需的并发性。即使使用准入控制，也无法实现所需的并发性。

I) The time taken for 1 query: 500-800ms.
II) But if 10 concurrent queries are given the time taken grows to 3-6s per query.
III) But if more than 20 concurrent queries are given the time taken is exceeding 10s per query.

2(我的一个集群节点在提交查询后没有承担负载，我通过查询摘要检查了这一点。我尝试在没有承担负载的节点上将NUM_NODES为 0 和 1，但摘要显示节点没有承担负载。

Answer 1

表格大小是多少？表中有多少行？表是否分区？如果您可以将您的配置与 Impala 基准测试进行比较，那就太好了

如上所述，Impala 旨在运行在大规模并行处理基础设施上。如果我们设置了 10 个节点(80 个核心(和 160 个虚拟核心(12 TB SAN 存储(，那么对于 5 个并发用户，我们可以获得 60 秒的计算时间。