AWS批处理在阵列配置中允许大约25个并发作业,而计算环境允许使用256个CPU



我正在使用Fargate Spot环境在AWS Batch上运行Job Array。主要目标是尽快完成一些工作。因此,当我运行100个作业时,我希望所有这些作业都能同时运行。但只有大约25份工作立即开始,其余的工作都在等待RUNNABLE状态。

作业在最多256个CPU的计算环境中运行。每个作业使用1个CPU,甚至更少。

我没有发现任何可以影响作业运行过程的限制或配额。

原因可能是什么?

我已经与AWS支持部门进行了交谈,他们建议我在需要尽快处理大量工作时不要使用Fargate。对于大规模作业处理,建议使用随需应变解决方案。

所以,在将Provisioning模型更改为On Demand之后,并发作业的数量增长到设置中确定的CPU限制,这就是我所需要的。

最新更新