火花堆尺寸错误，即使RAM为32 GB，Java_options = -XMX8G

Question

我有32 GB的物理内存和输入文件大小约30 MB，我尝试使用以下命令在YARN客户端模式下提交Spark Job

spark-submit --master yarn --packages com.databricks:spark-xml_2.10:0.4.1 --driver-memory 8g ericsson_xml_parsing_version_6_stage1.py 

我的执行人空间是8G，但是要收到以下错误。任何人请帮助我配置Java Heap内存。我使用命令行阅读了有关-Driver-Java-options，但我不知道如何使用此选项设置Java堆空间。

任何人请帮助我。

java.lang.outofmemoryerror：java堆空间

在此处输入图像描述

Answer 1

您是否也尝试配置执行器内存？像这样：" - Executor-Memory 8G"