更新纱线.Scheduler内存

Question

总数在这里，我在AWS EC2上的单个节点上安装了Cloudera Manager。我跟随安装向导，但是当我尝试运行

时

Spark-Shell或Pyspark我收到以下错误消息：

ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384     
MB) is above the max threshold (1024 MB) of this cluster! Please check 
the values of 'yarn.scheduler.maximum-allocation-mb' and/or 
'yarn.nodemanager.resource.memory-mb'.

有人可以向我解释发生了什么或在哪里开始阅读？总菜鸟，在这里，任何帮助或方向都非常感谢

Answer 1

所需的执行器内存高于最大阈值。您需要增加纱线内存。

yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb的值都活在Config File yarn-site.xml中，该文件由Cloudera Manager在您的情况下管理。

yarn.nodemanager.resource.memory-mb是可以分配给容器的物理内存量。

yarn.scheduler.maximum-allocation-mb是MB中每纱线容器分配CAB中的最大内存。RM以MBS为单位的每个容器请求的最大分配。内存请求高于此，不会生效，并且将被限制为此值。

您可以在此处了解有关定义和默认值的更多信息：https：//hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn/hadoop-yarn-common/yarn-common/yarn-default.xml

1. 在Cloudera Manager用户界面中，转到纱线服务>配置>搜索并增加其值。

2. 重新开始纱线以生效。