Robots meta and robots.txt

Question

我在php头中使用条件语句来排除一些文件后面的机器人。然而，由于我的网站性能不佳，我不得不暂时屏蔽其中一些页面。在这个阶段，我使用了robots.txt来排除它们。但他们仍然有元指数没有跟随。

谷歌会认为这种矛盾很糟糕吗？

Answer 1

如果您正在阻止robots.txt中的页面，那么任何遵循robots..txt的爬网程序都将永远不会加载该页面，因此永远不会看到robots元标记。元标记实际上被忽略了。