我有一个新的网站和一个新的域名，将需要大约2个月的时间来完成开发，然后将去生活。只有这样，我才希望谷歌开始抓取和索引我的网站。所以问题是如何在上线前2个月"关闭"谷歌索引?现在我计划使用index.html:
<html>
<meta name="googlebot" content="noindex">
UNDER CONSTRUCTION
</html>
我将在index.php中开始开发，完成后我将删除index.html，然后googlebot将从index.php开始索引。
我不知道这听起来是不是一个好计划。
您可以在项目目录中创建robots.txt，并添加以下内容:
User-agent: *
Disallow: /
所以当一个机器人到达你的页面时，它首先检查robots.txt文件，如果不允许，它会抓取你的页面。点击这里了解更多信息