网页在加载之前由谷歌进行爬网

Question

我有一个正在开发的网站，我正在努力改进SEO。该网站有一个根据用户位置加载内容的主页，加载内容需要一瞬间。但我担心爬行机器人不会等待页面加载和索引一个空页面。解决这个问题的最佳方法是什么？

Answer 1

您可以尝试Google的Fetch As Google来查看Google如何查看您的内容。Fetch as Google工具使您能够测试谷歌如何在您的网站上抓取或呈现URL。你可以使用Fetch as Google来查看Googlebot是否可以访问你网站上的页面，它如何渲染页面，以及是否有任何页面资源(如图像或脚本)被阻止到Googlebot。该工具模拟谷歌正常爬网和渲染过程中的爬网和渲染执行，对于调试网站上的爬网问题非常有用。

此外，请确保您没有从搜索引擎中屏蔽Javascript。