使用请求和Cheerio模块延迟请求

Question

，所以这是我用来爬行页面的代码(我正在使用请求和Cheerio模块：

for (let j = 1; j < nbRequest; j++)
{
  const currentPromise = new Promise((resolve, reject) => {
    request(
      `https://www.url${j}`,
      (error, response, body) => {
        if (error || !response) {
          console.log("Error: " + error);
        }
    console.log("Status code: " + response.statusCode + ", Connected to the page");
    var $ = cheerio.load(body);
    let output = {
      ranks: [],
      names: [],
      numbers: [],
    };
    $('td.rangCell').each(function( index ) {
      if ($(this).text().trim() != "Rang")
      {
        output.ranks.push($(this).text().trim().slice(0, -1));
        nbRanks = nb_ranks+1;
      }
    });
    $('td.nameCell:has(label)').each(function( index ) {
      output.names.push($(this).find('label.nameValue > a').text().trim());
    });
    $('td.numberCell').each(function( index ) {
      if ($(this).text().trim() != "Nombre")
      {
        output.numbers.push($(this).text().trim());
      }
    });
    console.log("HERE 1");
    return resolve(output);
  }
);

 });
    promises.push(currentPromise);
   }

之后，我使用节点模块在CSV文件中解析并保存结果。在这一点上，我已经能够爬行大约100页，但是当涉及到更大的数字(1000 (时，我会收到500个响应，这意味着我被踢了。因此，我认为最好的解决方案是延迟请求，但我没有找到解决方案。你们有任何想法以及代码的外观吗？

Answer 1

您要寻找的内容称为"控制流"，您可以使用async.queue来实现此目标。

如果将每个请求添加到队列中，则可以控制工人金额的并行请求量。您可以在请求回调的最后一部分中添加SettimeT，以实现请求的延迟。

此外，我建议使用"爬行者"软件包(而不是构建自己的包裹(，例如NPM-crawler在使用限制速率的情况下发货，并且已经照顾了您接下来可能面临的其他事情:)用户代理池

更新：

const async = require("async");
const delayTime = 1500; //wait 1,5 seconds after every new request
getRequestPromise(csvLine){
 return new Promise( make you request here );
}
const asyncQueue = async.queue(function(task, callback) {
 getRequestPromise(task).then(_ => {
  setTimeout(() => {
   callback(null);
  }, delayTime);
 });
}, 1); //1 one request at a time
for(csv){ //pseudo
 asyncQueue.push(csv[i], () => {});
}
asyncQueue.drain = () => {
 console.log("finished.");
};