卷曲重定向隐藏内容

Question

所以我正在尝试获取特定网页的内容。我尝试使用curl但结果，我被重定向到主页，我无法从所需的页面中检索我想要的信息。

每当我使用 file_get_contents() 并将 URL 传递给我尝试从中获取信息的网页时，它都能完美运行，但file_get_contents()在服务器上不起作用，我被困在curl.

有没有办法使用curl并获得类似file_get_contents()的行为？

我相信我试图从中获取信息的网页故意封装数据并将页面内容视图限制为仅通过浏览器进入其网站的人。

感谢您的帮助。

Answer 1

由于您正在cURL上获得重定向，因此您需要将此参数添加到现有集合中。

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); 

Answer 2

尝试这个函数，你可以根据需要更改它：

function url_get_contents($url,$ref="http://google.com",$posts=false){
    $crl = curl_init();
    $timeout = 5;
    $userAgent  = "Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/28.0.1500.71 Chrome/28.0.1500.71 Safari/537.36";
    curl_setopt ($crl, CURLOPT_USERAGENT,  $userAgent);
    curl_setopt ($crl, CURLOPT_URL, $url);
    curl_setopt ($crl, CURLOPT_ENCODING, 'UTF-8');
    curl_setopt ($crl, CURLOPT_HEADER, false);
    curl_setopt ($crl, CURLOPT_REFERER, $ref);
    curl_setopt ($crl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt ($crl, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt ($crl, CURLOPT_AUTOREFERER, true);
    curl_setopt ($crl, CURLOPT_CONNECTTIMEOUT, $timeout);
    if($posts){
        curl_setopt ($crl, CURLOPT_POST, true);
        curl_setopt ($crl, CURLOPT_POSTFIELDS, http_build_query($posts));
    }
    $ret = curl_exec($crl);
    $info = curl_getinfo($crl);
if ($ret === false || $info['http_code'] != 200) {
   $ret = "No cURL data returned for $url [". $info['http_code']. "]";
   if (curl_error($crl))
     $ret .= "n". curl_error($crl);
}
    curl_close($crl);
    return $ret;
}

如果您认为这是UserAgent，则可以轻松更改它，或传入引荐来源网址

$url = "somewebsitehere.com";
$contents = url_get_contents($url); #use google.com as referrer
$content2 = url_get_contents($url,$url); #use same url as referrer