curl_multi在执行了几次之后暂停



我的问题是我想从API网页访问json数据,并且每秒只允许10次调用。在向处理程序添加了10个调用后,我执行它们,然后对每个结果进行解码,处理数据,并从处理程序中删除curl会话。

平均而言,一次通话大约需要600毫秒(11600次通话的结果)。如何在我拨打10后停止拨打新电话?我试着使用usleep(它很有效),但它会减慢所有沉重的东西的速度。有时大约20秒~这是延迟curl调用的唯一方法吗?或者我如何更改此代码以提高效率?

$i = 0;
$run = NULL;
do {
  curl_multi_add_handle($handler, $curls[$i++]);
  while ($i < $curl_count && $i % 10 != 0) {
    curl_multi_add_handle($handler, $curls[$i++]);
  }
  curl_multi_exec($handler, $running);
  do {
    if (curl_multi_select($handler) != -1) {
      curl_multi_exec($handler, $running);
    }
  } while ($running > 0);
  while ($msg = curl_multi_info_read($handler)) {
    $exec_time[] = curl_getinfo($msg['handle'], CURLINFO_TOTAL_TIME);
    $response = curl_multi_getcontent($msg['handle']);
    $results = json_decode($response);
    processData() // function to process data
    curl_multi_remove_handle($handler, $msg['handle']);
  }
  $waiting_time = 1 - max($exec_time);
  if ($waiting_time > 0) {
    usleep(1000000 * $waiting_time);
  }
  $exec_time = NULL;
  usleep(100 * 1000);
} while ($i < count($curls));
curl_multi_close($handler);

编辑更新代码以解决错误并进行改进。查看编辑以查看更改。

您可能需要设置一个计时器,并且只睡1秒间隔所需的时间,而不是硬编码的1秒时间。所以类似于:

// start loop here
$start_time = microtime();
// run your 10 cURL requests here
$end_time = microtime();
$udelay = 1000000 * (1 - ($end_time - $start_time));
if ($udelay > 0) {
    usleep($delay);
}
// end loop here

顺便说一下,这似乎是curl_multi的一个相当初级的用法。如果你喜欢的话,可以看看我写的这个基于curl的轻量级REST客户端。它将使异常处理等功能更加健壮。

https://github.com/mikecbrant/php-rest-client

相关内容

  • 没有找到相关文章

最新更新