我注意到今天在webserver日志中，我们有时会收到来自具有Google Web Preview的用户代理的突发(450 requests in 2 seconds)请求。看看其他的stackoverflow，似乎这可能与搜索页面或上的预览功能有关，或者到用户chrome选项卡底部保存/最常用的链接。
我已经在robots.txt中屏蔽了这些特定的url，所以，它显然忽略了这一点。从这个2010年的即时预览页面看来，你可以添加一个nosnippet标签，然后谷歌将不会试图获取预览。然而，似乎添加nosnippet实际上不会停止请求(因为他们仍然需要获取页面来解析标签)。
除了屏蔽谷歌的ip地址(这是我不想做的)，有没有一种体面的方法可以阻止谷歌定期敲打服务器?
我想你可能做到了，但当我得到这样的问题，我做了一个缓冲页，并在该页上提供链接，例如链接管理面板，我不想被渲染，并在该页上使用NO索引