我在HDP 2.3上的Presto 0.148上运行复杂查询,该查询出现了 -
Query 20161215_175704_00035_tryh6 failed: Query exceeded local memory limit of 1GB
我能够在没有问题的情况下解决简单的查询。
配置协调器和工人节点 -
http-server.http.port=9080
query.max-memory=50GB
query.max-memory-per-node=4GB
discovery.uri=http://host:9080
查询 -
CREATE TABLE a.product_id, b.date, LOCATION FROM tblproduct a, day b WHERE b.date BETWEEN a.mfg_date AND a.exp_date
我必须重新启动,然后更新配置。如果我们对结果集执行了任何操作,我会看到Presto保持查询结果设置在内存中。因此,Presto需要大量保留的内存和1 GB的默认设置不够好。
确保更改配置文件后重新启动PRESTO,似乎您的配置文件与Presto Server不同步。