我在6个月前开始建立我的网站。
- 从我开始到现在 6 个月。Googlebot 会继续抓取我网站上不存在的网页。Googlebot 会随机生成这些链接。他们每天访问数百到数千个。
- 我已经验证它是一个谷歌机器人。
- 从第一天开始，我就用 404 标题离开了那些不存在的页面。
- 6个月后，事情没有一点改变。Googlebot 仍会以相同的速度抓取不存在的随机生成的网页。
不存在的链接页面的结构是mydomain/installa/{random-string}
例：
mydomain/installa/jfjdk-uru-gy-kfjurru
mydomain/installa/jfj-uru-wed-iehf72
mydomain/installa/dsds-rw3-wwewed-2332jh
请注意，我在我的网站上不使用后端文件夹或站点 URL 中的/installa/目录。
问题是当我在我的网站上发布实际帖子时。该帖子需要很长时间才能通过Googlebot发现来索引。
如果我手动将帖子提交到 google 控制台以获取索引，那就是一个不同的主题，我的页面被索引了。但我怀疑我所有的问题都属于我描述的上述问题。
谁能帮助我或指出我正确的方向？我的网站上是否有可能触发/installa/的错误？
是否有任何Wordpress插件可以用来跟踪Googlebot如何访问我的网站？
请帮我解决这个问题，这个问题目前似乎影响了我的网站排名。
谢谢
您可能希望向这些页面添加 noindex 标记。 此外，请从您的站点地图中删除它们。
<meta name="googlebot" content="noindex">
我的网站遇到了完全相同的问题。就我而言，所有这些随机页面都以命名/?开头，因此我们决定将它们从机器人的索引中排除.txt通过Disallow: /?*