使用 URL 缩短器跟踪卷曲请求

Question

我将如何构建 curl 命令以使其被 URL 缩短器识别？当我使用从 bit.ly 或 goo.gl 缩短的 url 运行以下命令时，这两个服务都无法识别该请求。

curl -L "http://bit.ly/1efYimy"

Answer 1

大多数 URL 缩短器执行各种形式的过滤和规范化，以从它们报告的静态中排除"机器人"流量。

如果您发出的请求量较少，则可以通过更改 curl 报告的用户代理来计算请求数。

curl -LA "MyApp 1.0" "http://bit.ly/1efYimy"

或

curl -L --user-agent "MyApp 1.0" "http://bit.ly/1efYimy"

请成为一个好的网络公民，选择一个描述您正在做什么的用户代理，并参考如何找到/联系您（例如"MyCo Bot"，在谷歌搜索MyCo会将某人带到您的公司）。

另请注意，虽然基于用户代理的过滤是机器人检测的一种形式，但各种服务将使用更复杂的措施来检测类似机器人的行为。 因此，如果您最终发出大量请求，您的指标可能会停止增加，甚至可能会被阻止/速率限制。