当搜索引擎（google、bing等）对网站进行爬网时，搜索引擎对网站的典型最大爬网深度是多少。所谓深度，我指的是从主页跳的次数。
谢谢，
这取决于你网站的整体排名，以及传入链接的排名，尤其是当它们不指向你的主页时。
像blekko这样的小型搜索引擎的爬行器不会离外部链接的着陆点那么远，除非你的整个网站很棒，或者你有很多来自很棒网站的链接。我们为排名更高的东西节省了爬行和索引的能量，所以如果我们估计一个页面的排名会很差，我们就不会麻烦了。
即使你只有一个糟糕的内联配置文件，谷歌的爬行器也可能爬行相当长的距离，但即使他们知道的URL也比实际爬行的多10倍。
如果你想爬遍整个世界，那么19个深度就足够了。因为整个世界覆盖了19个深度。但如果你想搜索一个特定的领域或国家，那么10个深度就足够了。
我从一篇论文中找到了这些信息。用于开发Mercator。
谢谢Mohiul Alam Prince