我正在使用Stackoverflow API来收集Stackoverlay中的标签。我正在使用NodeJS,并面临一个典型的问题。在230-250次请求后,我的速率限制被超过。就我所读到的而言,它允许<30请求/秒。因此,根据我的程序,它应该可以正常工作,但在200多个循环后,我却出现了异常。我的nodejs代码如下:-
var request=require('superagent');
var request=require('mongoose');
mongoose.connect('mongodb://shivkumarganesh:11111@paulo.mongohq.com:10090/lklklklkkkkl_gshiv_sk');
var db = mongoose.connection;
db.on('error', console.error.bind(console, 'connection error:'));
db.once('open', function callback () {
console.log('Connected');
});
//Schema for Tags
var tagSchema = mongoose.Schema({
name:String,
count:Number,
is_required:Boolean
, is_moderator_only:Boolean,
has_synonyms:Boolean});
var Tags = mongoose.model('Tags', tagSchema);
var saveSchema = function(Model){
Model.save();
}
///usr/local/lib/node_modules/superagent
var i=1;
var req=function(){
request.get('http://api.stackexchange.com/2.1/tags?page='+i+'&pagesize=100&fromdate=1199145600&todate=1377648000&order=asc&sort=popular&site=stackoverflow')
.set('X-API-Key', 'foobar')
.set('Accept', 'application/json')
.end(function(res){
if (res.ok && i<346) {
console.log('yay got ' + res.body);
var jsonResponse = res.body;
console.log(jsonResponse.items.length);
for(var j=0;j<jsonResponse.items.length;j++)
{
var model = new Tags(jsonResponse.items[j]);
saveSchema(model);
}
i++;
console.log("Number of Iteration ---- > "+i);
setTimeout(function() {
req();
}, 3000);
} else {
console.log('Oh no! error ' + res.text);
console.log('Processing Over'+i)
}
});
}
req();
请帮我弄清楚。如果可能,请纠正该程序。注意:我很喜欢MongoHQ存储数据。
您应该阅读此信息链接:https://api.stackexchange.com/docs/throttle
具体而言:
在每个方法级别上也有一个动态节流阀。如果应用程序收到一个设置了后退字段的响应,那么它必须等待那么多秒才能再次使用相同的方法。
因此,请检查返回的backoff
字段,并等待该字段,然后再执行另一个请求。