好吧，我对谷歌机器人有问题。每天占用700MB的带宽。这是为那些显然会问我为什么要这样做的人准备的。
我知道robots.txt，我可以停止机器人来索引一些文件夹。但是在WordPress中，我使用的是帖子名称permalink，所以帖子和页面的permalink只是/page或/post。
搜索任何限制机器人只索引少数标签和少数类别的插件，都没有找到。
希望允许粘贴帖子，少分类，少标签。能做到吗？怎样
我有关于这个问题的最新消息。我决定使用robots.txt rulles。
User-agent: *
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: AhrefsBot/3.1
Disallow: /
User-agent: Yahoo-slurp
Disallow: /
User-agent: Msnbot
Disallow: /
User-agent: Googlebot
Allow: /
Disallow: /category
Disallow: /video
Disallow: /author
Disallow: /?s=
Disallow: /feed/
Disallow: /xmlrpc.php
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag
Allow: /tag/marry
Allow: /tag/john
最后两个标签会被编入索引吗？WordPress中还有什么需要隐藏的吗？
如果您想允许特定的帖子，但不允许其他所有帖子，那么请使用Allow标记。例如：
User-agent: Googlebot
Allow: /post/foo
Allow: /page/bar
Disallow: *
因此，机器人可以抓取你指定的页面，但不能抓取其他任何页面。