我在我的网站上有一组页面，其中我在页面加载上发布"主内容"one_answers"相关内容"，然后通过ajax命中加载页面加载。我要做的是确保GoogleBot可以通过AJAX加载内容，并在其中链接中加载，但不要索引请求URL。
如果我在robots.txt中禁止URL，则GoogleBot不会爬网。如果我在其中添加了X型机器人标签" NoIndex"，则整个页面将变得未索引，这不是我想要的。任何解决方案？
您不能要求爬行者等待；您可以做的就是Prerender Ajax请求，因此首先将内容渲染和索引。在此处阅读有关此信息的更多信息：https：//groups.google.com/a/chromium.org/forum/#! Forum/prerender
注意：它将使页面加载较慢。您将要做的事情基本上阻止页面完全加载，渲染您希望渲染的特定请求，然后将内容加载到浏览器上。
这也是我必须说的原因：在此任务的前端使用Ajax（相关文章）是错误的。您应该尝试将相关文章在服务器端，而不是通过AJAX请求，而是通过DB查询 - 取决于您的CMS。