我得到了一份工作，在一个网站上删除"此页面没有可用信息"。该网站使用Yoast SEO，但它被禁用了，所以我重新启用了它，然后我得到了一个基本的robots.txt，就像这个
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
我已经应用了大约六个小时的设置，试图在谷歌上搜索，但仍然没有任何变化。我现在感到焦虑。这足以让爬虫阅读网站吗？我错过什么了吗？我需要处理.htaccess吗？我在SEO方面没有经验，所以任何帮助都将不胜感激。
将其复制并粘贴到您的robot.txt 中
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Sitemap: https://www.yoursitename.com/sitemap.xml