我有子域名"klient"用于为我们的客户测试网站,我不希望它被索引。我已经在机器人中设置了.txt(在我们的网络根目录中(这个:
User-agent: *
disallow: /subdom/klient/*
但我不确定它是否真的有效,因为我现在已经在谷歌结果中找到了测试网站......
哪里可能有问题,或者我们如何阻止谷歌和其他机器人索引此文件夹......?
谢谢
您可以通过在
子域的根目录中放置一个robots.txt
来做到这一点。
因此,在您的klient.example.com
中,放置一个包含以下内容的robots.txt
:
User-agent: *
Disallow: /
如果要删除已编入索引的网页,请使用您的子域创建新的 Web 控制台网站,并删除其中的索引网页。