你只会在Parquet写密集型应用中看到这个问题。
我在YARN中运行一个Spark应用程序，有两个执行器，Xms/Xmx为32 GB, Spark . YARN . executor . memoryoverhead为6 GB。
我看到应用程序的物理内存不断增加，最终被节点管理器杀死:
2015-07-25 15:07:05,354 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Container [pid=10508,containerID=container_1437828324746_0002_01_000003] is running beyond physical memory limits. Current usage: 38.0 GB of 38 GB physical memory used; 39.5 GB of 152 GB virtual memory used. Killing container.
Dump of the process-tree for container_1437828324746_0002_01_000003 :
|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
|- 10508 9563 10508 10508 (bash) 0 0 9433088 314 /bin/bash -c /usr/java/default/bin/java -server -XX:OnOutOfMemoryError='kill %p' -Xms32768m -Xmx32768m -Dlog4j.configuration=log4j-executor.properties -XX:MetaspaceSize=512m -XX:+UseG1GC -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:gc.log -XX:AdaptiveSizePolicyOutputInterval=1 -XX:+UseGCLogFileRotation -XX:GCLogFileSize=500M -XX:NumberOfGCLogFiles=1 -XX:MaxDirectMemorySize=3500M -XX:NewRatio=3 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=36082 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -XX:NativeMemoryTracking=detail -XX:ReservedCodeCacheSize=100M -XX:MaxMetaspaceSize=512m -XX:CompressedClassSpaceSize=256m -Djava.io.tmpdir=/data/yarn/datanode/nm-local-dir/usercache/admin/appcache/application_1437828324746_0002/container_1437828324746_0002_01_000003/tmp '-Dspark.driver.port=43354' -Dspark.yarn.app.container.log.dir=/opt/hadoop/logs/userlogs/application_1437828324746_0002/container_1437828324746_0002_01_000003 org.apache.spark.executor.CoarseGrainedExecutorBackend akka.tcp://sparkDriver@nn1:43354/user/CoarseGrainedScheduler 1 dn3 6 application_1437828324746_0002 1> /opt/hadoop/logs/userlogs/application_1437828324746_0002/container_1437828324746_0002_01_000003/stdout 2> /opt/hadoop/logs/userlogs/application_1437828324746_0002/container_1437828324746_0002_01_000003/stderr
我禁用了YARN的参数"YARN .nodemanager"。pmem-check-enabled"，并注意到物理内存使用达到了40 GB。
我检查了/proc/pid/smaps中的总RSS，它与Yarn报告的物理内存值相同，并在top命令中看到。
我检查了这不是堆的问题，但是在堆外/本机内存中有些东西正在增加。我使用了像Visual VM这样的工具，但没有发现任何增加的东西。maxdirectmmemory也不超过600mb。活动线程的峰值数为70-80，线程堆栈大小不超过100 MB。元空间大小约60-70 MB。
供参考，我使用Spark 1.2和Hadoop 2.4.0，我的Spark应用程序是基于Spark SQL的，它是一个HDFS读/写密集型应用程序，并在Spark SQL的内存缓存中缓存数据。
我应该在哪里寻找调试内存泄漏或已经有一个工具?
最后我解决了这个问题。问题是在Spark SQL的parquet写路径中创建的压缩器没有被回收，因此，我的执行器为每个parquet写文件创建了一个全新的压缩器(从本机内存)，从而耗尽了物理内存限制。
我在Parquet Jira中打开了以下bug，并提高了PR:-
https://issues.apache.org/jira/browse/parquet - 353这修复了内存问题在我的结束。
注: