提交关于YARN问题的Flink作业

Question

我想用以下命令在YARN上提交我的flink作业：

./bin/flink run -m yarn-cluster -p 4 -yjm 1024m -ytm 4096m ./task.jar

但我遇到了这个错误：

is running beyond virtual memory limits. Current usage: 390.3 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.

Answer 1

这是由于一个名为yars.nodemanager.vmem-pem-raratio的变量引起的，该变量默认设置为2.1，在该命令中，该比率为4096/1024=4

你有3种方法：

1-如果您有权访问YARN配置，您可以将YARN.nodemanager.vmem检查启用为YARN-site.xml设置为false。

2-如果您可以访问配置，另一个方法是将比值从2.1更改为5，例如

3-如果您没有访问权限，您可以更改YARN配置，也可以更改ytm和yjm值以满足比率条件，例如：-yjm 4096-ytm 4096。