我有一个启用了表单身份验证的ASP.Net 3.5网站。有没有可能让谷歌机器人在不提示输入用户名/密码的情况下抓取我的网站？
谷歌声称，它不习惯索引页面，并在不可用的用户上显示它们，因为实际上他们要求用户名和密码。
它可以提供只通过AdSense抓取保护页面的选项，这样他就可以知道在上显示什么广告
https://www.google.com/adsense/support/bin/answer.py?answer=37081
其他检查是否是机器人或来自谷歌机器人计算机的解决方案是不安全的，因为它们很容易被用户欺骗，也可能无法显示页面的预览或缓存。
因此，你需要考虑你的网站结构，什么是非常重要的，什么不是，以显示页面的某些部分，如果用户没有注册，则隐藏其他部分，这样谷歌即使没有登录也有索引。
这是一篇文章：
http://www.guruofsearch.com/google-access-password-protected-site
看看谷歌网站地图是否会导致页面出现在谷歌上会很有趣，但我怀疑这是否可行，因为页面可能无论如何都需要爬网。
还有其他一些有趣的评论：
http://forums.searchenginewatch.com/showthread.php?t=8221