无法使用 NodeJS 异步对作业进行排队



我遵循了本教程、异步文档并编写了这段代码。

// ASYNC JOBS
var async             = require('async'),
    spawn             = require('child_process').spawn
    maxjobs           = 4;
function setup_R_job(opts,done)
{
  log('starting '+opts.params.pop());
  var params = opts.params;
  delete opts['params'];
  var R = spawn('phantomjs', params, opts);
  R.on('exit',function(code)
  {
    log('got exit code: '+code)
    return null;
  })
  return null;
}
var course_queue=async.queue(setup_R_job, maxjobs);

我使用这个函数实例化作业。

//instaciante jobs
var jobForCourses = function(urls)
{
  for (var i = urls.length - 1; i >= 0; i--) {
    var opts = {  cwd: __dirname,
                  env: process.env,
                  params: ['../getCourseLinks.js','--course']
               };
    opts.params.push(urls[i]);
    log("queueing: "+opts.params.join(' '));
    course_queue.push(opts);
  };
};

CCD_ 1的调用如下。

var urls = [url1, url2, url3, url4, url5, url6];
jobForCourses(urls);

它应该为每个url创建一个作业,并一次执行4个作业。一项工作完成后,应该开始下一项工作。依此类推,直到队列中不再有作业为止。至少这就是异步文档中关于它的内容:

队列(工作进程、并发)

创建具有指定并发性的队列对象。添加到的任务队列是并行处理的(最高可达并发限制)。如果所有工作人员都在进行中,任务将排队,直到其中一个可获得的工作人员完成任务后,该任务的回调为呼叫。

但是,它启动4个第一个作业,完成它们,并且不实例化其他作业。当然,如果我将maxjobs设置为50,它将执行所有这些,但这不是我想要的。

编辑

如果它能帮助理解,我得到以下输出:

queueing: ../getCourseLinks.js --course /courses/url1
queueing: ../getCourseLinks.js --course /courses/url2
queueing: ../getCourseLinks.js --course /courses/url3
queueing: ../getCourseLinks.js --course /courses/url4
queueing: ../getCourseLinks.js --course /courses/url5
queueing: ../getCourseLinks.js --course /courses/url6
queueing: ../getCourseLinks.js --course /courses/url7
queueing: ../getCourseLinks.js --course /courses/url8
queueing: ../getCourseLinks.js --course /courses/url9
...
starting /courses/url1
starting /courses/url2
starting /courses/url3
starting /courses/url4
got exit code: 0
got exit code: 0
got exit code: 0
got exit code: 0
流程完成后,您需要调用done。试试这个:
function setup_R_job(opts,done) {
  log('starting '+opts.params.pop());
  var params = opts.params;
  delete opts['params'];
  var R = spawn('phantomjs', params, opts);
  R.on('exit',function(code)
  {
    log('got exit code: '+code)
    done();
  })
}

您也可以在那里添加一些错误处理,例如,但这可能是一个起点。

相关内容

  • 没有找到相关文章

最新更新