我想禁止所有机器人抓取网站并为其编制索引。除了Googlebot。我想允许谷歌索引索引 (/( URL，但没有别的。最好在机器人中.txt。
您对如何实现这一目标有什么想法吗？谢谢！
你需要使用机器人.txt。
只需在网站的公共文件夹中创建一个并添加;
用户代理：谷歌机器人
允许：/
用户代理： *
禁止：/
这将允许谷歌抓取工具索引所有页面，并禁止整个网站的所有其他抓取工具。
详情请参考：https://support.google.com/webmasters/answer/6062596?hl=en
我知道这可能被认为是题外话，但仍然认为如果这有帮助，我会回答。 正如约翰·康德(John Conde(所建议的那样，尝试使用网站管理员。