Bit.ly API 调用在创建短 URL 之前/之后命中原始 URL

Question

我正在使用v3 api生成 Bit.ly 短网址。在原始 URL 中，我在点击它后有一些数据库操作。但是当我生成 bit.ly url 时，它会自动访问原始 URL。

检查我下面的 bit.ly api 调用代码。

$url = 'http://api.bit.ly/v3/shorten?login='.BITLYAPICALLLOGIN.'&apiKey='.BITLYAPICALLAPIKEY.'&uri='.urlencode($longurl).'&format=json';
$s = curl_init();  
curl_setopt($s,CURLOPT_URL, $url);  
curl_setopt($s,CURLOPT_HEADER,false);  
curl_setopt($s,CURLOPT_RETURNTRANSFER,1); 
curl_setopt($s,CURLOPT_CONNECTTIMEOUT,2); 
$result = curl_exec($s);  
curl_close( $s );

我们可以避免来自 bit.ly 的自动 URL 调用吗？

Answer 1

Bitly确实会获取Bitlink的长URL来检索页面标题和相关信息。我们的要求尊重机器人.txt标准(http://www.robotstxt.org(。

如果您希望要求我们的系统停止发出这些请求，您可以通过在适当的域上更新您的 robots.txt 文件来实现。请注意，我们会将网站的漫游器缓存.txt 24 小时，因此更改需要一天时间才能生效。

用于禁用此行为的机器人.txt节是：

User-agent: bitlybot
Disallow: /

此外，我建议更新到我们 API 的 V4，因为它是最新和最好的：https://dev.bitly.com

Answer 2

我没有添加/编辑机器人的权限.txt，相反，我想出了代码中的解决方案(用PHP编写(。在文件顶部添加了以下代码片段，只是为了阻止 bitlybot 执行任何操作。

if (strpos($_SERVER['HTTP_USER_AGENT'], 'bitlybot') !== false) {
    header('Location: https://bit.ly/', true, 301);
    exit();
}