禁用机器人.txt上的某些网址

Question

我有一个网站，其中包含以下样式的URL：

https://www.example.com/16546/slug-title

在机器人中添加.txt禁用这些URL的规则是什么？

我想保持公共网址https://www.example.com/terms。

Answer 1

您可以在

robots.txt中使用通配符，但这不适用于您的 url 格式/<id>/<slug> 。

如果您使用格式/article/<id>/<slug>它可以与（未测试）一起使用：

Disallow: /article

Answer 2

如果您可以阻止路径以 0 - 9 开头的所有 URL，则可以使用：

Disallow: /0
Disallow: /1
Disallow: /2
Disallow: /3
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9

这将阻止类似

https://www.example.com/1

https://www.example.com/16

https://www.example.com/165/foo