PHP在curl函数的循环中挂起了错误的url



我有一个几千个URL的数据库,我正在检查页面上的链接(最终寻找特定的链接(,所以我通过循环抛出下面的函数,每隔一段时间就会有一个URL坏了,然后整个程序就会停下来,停止运行,并开始积累所用的内存。我以为添加CURLOPT_TIMEOUT可以解决这个问题,但它没有。有什么想法吗?

$options = array(
    CURLOPT_RETURNTRANSFER => true,         // return web page
    CURLOPT_HEADER         => false,        // don't return headers
    CURLOPT_FOLLOWLOCATION => true,         // follow redirects
    CURLOPT_ENCODING       => "",           // handle all encodings
    CURLOPT_USERAGENT      =>  "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'",     // who am i
    CURLOPT_AUTOREFERER    => true,         // set referer on redirect
    CURLOPT_TIMEOUT        => 2,          // timeout on response
    CURLOPT_MAXREDIRS      => 10,           // stop after 10 redirects
    CURLOPT_POST            => 0,            // i am sending post data
       CURLOPT_POSTFIELDS     => $curl_data,    // this are my post vars
    CURLOPT_SSL_VERIFYHOST => 0,            // don't verify ssl
    CURLOPT_SSL_VERIFYPEER => false,        //
    CURLOPT_VERBOSE        => 1                //
);
$ch      = curl_init($url);
curl_setopt_array($ch,$options);
$content = curl_exec($ch);
$err     = curl_errno($ch);
$errmsg  = curl_error($ch) ;
$header  = curl_getinfo($ch);
curl_close($ch);
//  $header['errno']   = $err;
//  $header['errmsg']  = $errmsg;
$header['content'] = $content;
#Extract the raw URl from the current one
$scheme = parse_url($url, PHP_URL_SCHEME); //Ex: http
$host = parse_url($url, PHP_URL_HOST); //Ex: www.google.com
$raw_url = $scheme . '://' . $host; //Ex: http://www.google.com
#Replace the relative link by an absolute one
$relative = array();
$absolute = array();
#String to search
$relative[0] = '/src="//';
$relative[1] = '/href="//';
#String to remplace by
$absolute[0] = 'src="' . $raw_url . '/';
$absolute[1] = 'href="' . $raw_url . '/';
$source = preg_replace($relative, $absolute, $content); //Ex: src="/image/google.png" to src="http://www.google.com/image/google.png"
return $source;
如果curl_exec找不到URL,它将返回false。HTTP状态代码将为零。检查curl_exec的结果并检查HTTP状态代码。
$content = curl_exec($ch);
$httpStatus = curl_getinfo($ch, CURLINFO_HTTP_CODE);
if ( $content === false) {
   if ($httpStatus == 0) {
    $content = "link was not found";
   }
}
....

按照目前的方式,代码行

header['content'] = $content;

将获得false的值。这不是你想要的希望

我正在使用curl_exec,如果它找不到url。代码一直在运行。不过,你可能会在浏览器中一无所获以及Firebug控制台中类似"500内部服务器错误"的消息。也许这就是你所说的失速。

所以基本上你不知道,只是猜测curl请求正在停滞。

对于这个答案,我只能猜测。您可能还需要设置以下卷曲选项之一:CURLOPT_CONNECTTIMEOUT

如果连接已经暂停,则可能不考虑其他超时设置。我不完全确定,但请参阅当我设置了3000毫秒的超时时,为什么CURL会在1000毫秒内超时?。

相关内容

  • 没有找到相关文章

最新更新