.txt机器人的订单重要吗?

Question

我的机器人.txt如下：

User-agent: *
Disallow: /user/*
Disallow: /invitations/*
Disallow: /api/*
#Adsense crawler
User-agent: Mediapartners-Google
Disallow:

"Mediapartners-Google"爬虫真的允许扫描所有页面吗？ 或者我的机器人的第一行.txtUser-agent: *将阻止所有爬虫(包括"Mediapartners-Google"(访问上面提到的根，即使文件末尾有以下行：

User-agent: Mediapartners-Google
Disallow:

换句话说 - 规则顺序在机器人中很重要.txt - 就像我的情况一样？

Answer 1

看来我已经找到了答案。 答案是 - 顺序无关紧要，因为：

在具有多个用户代理指令的robots.txt文件中，每个指令 禁止或允许规则仅适用于 中指定的用户代理 该特定行分隔集。如果文件包含规则 适用于多个用户代理，爬虫只需付费 注意(并遵循(最具体的一组 指示。

来源： https://moz.com/learn/seo/robotstxt

Answer 2

顺序无关紧要，您可以使用机器人部分中的搜索控制台进行测试。 改变顺序，测试几页，看看有没有什么奇怪的。