情况如下:
User-agent: *
Disallow: /
User-agent: Googlebot
Disallow: /test
在这种情况下,谷歌机器人能胜任它的工作吗?
我想可能是因为该文件只指定不允许/test用于Googlebot,所以Googlebot可以在/test之外的其他目录上执行任务?
问题:在这种情况下,Googlebot能够完成它的工作吗?
答案:不是这种情况
User-agent: *
Disallow: /
问题:我想可能是因为该文件只指定了不允许/test用于Googlebot,所以Googlebot可以在除/test之外的其他目录上执行任务?
答案:是的,完全是