节点http.request HEAD问题

Question

使用方法"HEAD"发出大量请求时遇到问题。

我已经将async.queue设置为20，并将超时设置为3000ms。不管怎样，当我跑步时：我看到10-15个成功，比一些胆小鬼更成功，一个悬。。。没有发生任何进一步的事情。

如果我删除超时，我有大约10次成功并挂起。。。我也没有收到错误信息。

请求代码：

function getHeader(link)
{  
  var correctUrl = url.parse(link);  
  var options = {method: 'HEAD', host: correctUrl.hostname, port: 80, path: correctUrl.pathname};  
  var req = http.request(options, function(res) {   
    if(res.statusCode == 404 || res.statusCode == 500) return;      
    var x = {
      loc : link     
    };  
    if(typeof(res.headers['last-modified']) != "undefined") 
    {
      x.lastmod = dateConverter(res.headers['last-modified']);      
      console.log("Added lastmodify: " + x.lastmod);
    }
    console.log(res.headers);    
    parser.allObjects.push(x);    
  });  
  req.setTimeout(3000, function() {
    console.log("Timeout reached. Link:" + link);
    req.abort();
  });
  req.on('error', function (e) {
    console.log('problem with request: ' + e.message);
  });
  req.end();
}

队列在这里：

var queue = async.queue(function (href, callback) {
  getHeader(href,function(err){
    if(err) return callback(err);
    return callback();
  });
}, parser.serverMight); // this set to 20 at the mom (decreased from 50)
queue.drain = function() {
  formXml(null, parser.allObjects);
};
queue.push(toRequest, function(err) {
  if(err) console.log(err);
});

非常感谢您的帮助。

Answer 1

嘿，找到了自己。也许这可能会对某人有所帮助。所以错误很简单：我没有从getHeader函数回调，我只是使用了return。这就是为什么排队的人无法开始下一轮比赛的原因。Httpreq占用的空间较少，所以我会让它保留下来。

以下是正确代码的外观：

function getHeader(link, callback)
{   
  httpreq.get(link, function(err, res) {      
    if(err) return callback(err);
    if(res.statusCode == 404 || res.statusCode == 500)
    {
      parser.allHrefs.remove(parser.allHrefs.indexOf(link));
      console.log("Faced status code 404 || 500. url deleted: " + link);
      return callback(null);
    }
    //collect header-info
    var x = { loc : link };
    if(typeof(res.headers['last-modified']) != "undefined")     
      x.lastmod = dateConverter(res.headers['last-modified']);      
    console.log("Success adding header:" + x.loc);
    parser.allObjects.push(x);
    return callback(null);
  });   
}

p.s.："httpreq"（请求完整请求体）比"http"（请求HEAD）更快的原因。。。