增加蜂巢查询的堆尺寸

  • 本文关键字:蜂巢 查询 增加 hive
  • 更新时间 :
  • 英文 :


我最近通过在unix界面或SQL Workbench上开始在Hive上工作。
有时,我面临的错误说:"请使用XMX参数增加您的Java堆空间"。我认为这与查询的效率有关。谁能给我一些有关堆大小的背景并帮助我增加这一点?

Hive中的Java堆空间设置为默认值1024 MB。这对于相对较小的数据和非密集的查询很好,但是一旦您开始处理较大的表和更复杂的查询,默认值就不够。取决于您在计算机上可用的RAM,我将考虑将默认值加倍或翻倍,最高为2048 MB或3072 MB。

您可以通过转到/etc/hive/conf目录并在那里编辑hive-env.sh文件来做到这一点。对于您来说,在该文件中,有一条看起来像

的行
export HADOOP_HEAPSIZE=1024

您要做的就是将该价值更改为我提到的一个值。如果这还不够,请继续增加蜂巢,直到您的查询不会失败为止。请确保了解您在这样做时计算机的内存有多少内存的内存。

增加堆大小

例如,要将堆大小增加到1GB,请将其设置为

mapred.child.java.opts=  -Xmx1024m

hs2将扮演关键角色以执行Quires并从文件系统中检索数据。请在下面的链接下进行HS2 Heap建议的最佳实践。

Hiveserver2堆尺寸建议

最新更新