如何限制IIS服务器在robots.txt中抓取HTTPS

Question

是否有办法将HTTPS爬行限制到IIS上robots.txt中的一个特定文件夹?谢谢。

Answer 1

一种解决方案是您可以将<meta name="robots" content="noindex,nofollow">添加到您的https站点。

您可以创建第二个robots.txt文件，命名为robots_https.txt，并添加所有条目以阻止所有内容。

然后添加以下行到你的。htaccess文件(位于你的web托管目录的根目录)。

RewriteCond %{SERVER_PORT} ^443$ RewriteRule ^robots.txt$ robots_https.txt

Answer 2

谢谢大家，我想我终于在这篇文章中找到了答案:http://www.jppinto.com/2010/03/automatically-redirect-http-requests-to-https-on-iis7-using-url-rewrite-2-0/它使用IIS提供的URL重写将HTTPS请求重定向到HTTP，反之亦然。或者如果你没有在IIS服务器上安装URL重写插件，你可以修改Web。直接配置以添加规则，就像文章中建议的那样。欢呼。