我是 flink 新手,并尝试在 EMR 集群上部署我的 jar。我使用了 3 个节点集群(1 个主集群和 2 个从集群(及其默认配置。我没有进行任何配置更改并坚持使用默认配置。在我的主节点上运行以下命令时:
flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar
我收到以下错误:
INFO org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources are available in the YARN cluster
任何人都可以解释此错误的可能原因是什么?
由于您没有确定任何资源(内存,CPU内核(,我想这是因为YARN集群没有所需的资源,尤其是内存。 尝试使用以下类型的命令提交 jar 文件:
flink run -m yarn-cluster -yn 5 -yjm 768 -ytm 1400 -ys 2 -yqu streamQ my_program.jar
您可以在此处找到有关该命令的更多信息
您可以在 YARN WebUI 中检查应用程序日志,看看到底是什么问题。
另外,请查看此帖子:
- 帖子1
- 帖子2