我正在运行一个火花作业(火花提交(，并面临很多outOfMemory和open files内存问题。我到处搜索找不到任何有用的东西。
有人可以帮我增加 Amazon emr 默认内存设置吗？
[hadoop@ip-10-0-52-76 emr]$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 31862
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 31862
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
增加 java 堆大小和打开文件大小将解决我的问题。
有关更多信息，我正在使用r3.4xlarge emr 集群。谢谢
在 EMR 中，您可以在/etc/spark/conf/spark-defaults.conf 文件中更改内存设置。
如果任务内存不足意味着，您应该增加执行程序内存。请根据数据大小选择执行器内存。
spark.executor.memory 5120M
如果驱动程序抛出内存不足错误，您可以增加驱动程序内存。
火花.驱动程序.内存 5120M