我有一个小的hadoop/纱线群集，该群集在带有防火墙的系统上运行，必须启用。我们正在尝试提交由于端口分配而失败的火花作业。
我已经为需要打开的所有标准Hadoop/Yarn/Spark端口配置了防火墙，并设置了我认为限制端口范围的所有配置。但是应用程序管理器仍然在被阻止的随机端口上创建容器。
我认为要解决的一种设置是 YARN.APP.MAPREDUCE.AM.JOB.CLIENT.PORT-RANGE 在mapred-site.xml中设置受到尊重或有所作为。
任何想法/帮助将不胜感激。
将我的头撞在墙上太久了。编辑忘记版本 - Hadoop/Yarn 2.8.0，Spark 2.1.0，Centos7
YARN.APP.MAPREDUCE.AM.JOB.CLIENT.PORT-RANGE 仅适用于在YARN上运行的MapReduce应用程序
一个人可以通过在 spark-defaults.conf中配置 spark.driver.port 和 spark.port.port.maxretries 在纱线上的火花应用程序的端口范围。以下值应配置应用程序主端口50100-50200：
spark.driver.port 50100
spark.port.maxRetries 99