在robots.txt中一开始就禁止所有机器人程序后,指定指令是否会产生异常



情况如下:

User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /test

在这种情况下,谷歌机器人能胜任它的工作吗?

我想可能是因为该文件只指定不允许/test用于Googlebot,所以Googlebot可以在/test之外的其他目录上执行任务?

问题:在这种情况下,Googlebot能够完成它的工作吗?

答案:不是这种情况

User-agent: *
Disallow: /

问题:我想可能是因为该文件只指定了不允许/test用于Googlebot,所以Googlebot可以在除/test之外的其他目录上执行任务?

答案:是的,完全是

最新更新