像你们中的一些人一样，我们收到了来自Google网站管理员工具的电子邮件，说CSS和JS文件被他们的爬虫"屏蔽"了，所以我们不得不在robots.txt中允许它们。没问题。
但是现在GoogleBot需要访问图像，但是我们不希望它们在google图像搜索中被索引。那么有没有一种方法可以让GoogleBot访问它们但不索引它们呢?
谢谢
添加
Disallow: /images
到您的robots.txt文件。Robots.txt是你用来控制哪些内容不仅被Google索引，而且被任何合法的bot(因为它们会查找该文件)索引。
这将阻止索引，但我不确定你所说的"允许访问"是什么意思。渲染后的页面仍然会包含图像，所以任何快照或预览都应该是可以的。
更新你是对的，你指定你不希望他们被阻止，但你不希望他们被索引。
为此，您需要使用noindex。Google建议把这个放到robots文件中:
User-agent: Googlebot-Image
Disallow: /