我遵循了本教程、异步文档并编写了这段代码。
// ASYNC JOBS
var async = require('async'),
spawn = require('child_process').spawn
maxjobs = 4;
function setup_R_job(opts,done)
{
log('starting '+opts.params.pop());
var params = opts.params;
delete opts['params'];
var R = spawn('phantomjs', params, opts);
R.on('exit',function(code)
{
log('got exit code: '+code)
return null;
})
return null;
}
var course_queue=async.queue(setup_R_job, maxjobs);
我使用这个函数实例化作业。
//instaciante jobs
var jobForCourses = function(urls)
{
for (var i = urls.length - 1; i >= 0; i--) {
var opts = { cwd: __dirname,
env: process.env,
params: ['../getCourseLinks.js','--course']
};
opts.params.push(urls[i]);
log("queueing: "+opts.params.join(' '));
course_queue.push(opts);
};
};
CCD_ 1的调用如下。
var urls = [url1, url2, url3, url4, url5, url6];
jobForCourses(urls);
它应该为每个url创建一个作业,并一次执行4个作业。一项工作完成后,应该开始下一项工作。依此类推,直到队列中不再有作业为止。至少这就是异步文档中关于它的内容:
队列(工作进程、并发)
创建具有指定并发性的队列对象。添加到的任务队列是并行处理的(最高可达并发限制)。如果所有工作人员都在进行中,任务将排队,直到其中一个可获得的工作人员完成任务后,该任务的回调为呼叫。
但是,它启动4个第一个作业,完成它们,并且不实例化其他作业。当然,如果我将maxjobs
设置为50
,它将执行所有这些,但这不是我想要的。
编辑
如果它能帮助理解,我得到以下输出:
queueing: ../getCourseLinks.js --course /courses/url1
queueing: ../getCourseLinks.js --course /courses/url2
queueing: ../getCourseLinks.js --course /courses/url3
queueing: ../getCourseLinks.js --course /courses/url4
queueing: ../getCourseLinks.js --course /courses/url5
queueing: ../getCourseLinks.js --course /courses/url6
queueing: ../getCourseLinks.js --course /courses/url7
queueing: ../getCourseLinks.js --course /courses/url8
queueing: ../getCourseLinks.js --course /courses/url9
...
starting /courses/url1
starting /courses/url2
starting /courses/url3
starting /courses/url4
got exit code: 0
got exit code: 0
got exit code: 0
got exit code: 0
done
。试试这个:
function setup_R_job(opts,done) {
log('starting '+opts.params.pop());
var params = opts.params;
delete opts['params'];
var R = spawn('phantomjs', params, opts);
R.on('exit',function(code)
{
log('got exit code: '+code)
done();
})
}
您也可以在那里添加一些错误处理,例如,但这可能是一个起点。