将qsub作业的数量限制在作业限制以下



我试图在一个Bright计算集群上对我的学习模型进行参数调优,由于需要调优的参数数量,这需要大量的工作。每个参数组合需要大约162个qsub作业。我需要检查大约50个参数组合。这相当于运行162*50 ~= 8100个作业。但是,在我使用的集群上,每个帐户的作业限制为350 qsub。因此,我想知道在bash脚本中是否有一种方法来检查当前活动的qsub作业的数量,以便我可以有效地自动化初始化新作业的过程。

您是否已经尝试使用作业数组?您没有指定正在使用的调度器(PBS、OGE等),但是应该有一种方法来定义作业数组,并在整个数组中限制一次实际运行的任务数量。在PBS

#PBS -t 1-1000%100

创建一个1,000个任务数组,将一次有效运行的任务数量限制为100个。如果您真的想找到一种方法来检查活动作业以自动启动新作业的过程,qstat输出应该可以帮助您,但是这应该是调度器的职责,而不是您的。

最新更新