我的robots.txt文件的内容实际上本身被索引并显示在Google搜索结果中。例如，只有谷歌而不是雅虎。
我真的认为谷歌应该理解而不是索引我的机器人文件的内容，因为它只是在那里告诉谷歌不索引什么!
我在这里错过了什么吗?
这很正常。我的几个月前也被索引了。我觉得是履带器的问题。编辑:顺便说一句，您可以删除网站管理员工具网站上的链接
我不建议禁用robots.txt文件本身。相反，你可以使用带有noindex值的X-Robots-Tag http头，这将阻止搜索引擎索引该文件。
这将允许他们访问你的robots.txt，但阻止它显示在搜索结果中。
我认为不允许自己的robots.txt文件(如果可能的话)将导致所有其他命令也被bots忽略。
您可以将Disallow: /robots.txt添加到robots.txt中。我认为应该避免robots.txt本身被索引