机器人.txt显示有一个奇怪的链接



我已经生成了我的机器人.txt文件,内容如下所示

User-agent: *
Disallow: /portfolio/web-application-for-core
Disallow: /portfolio/amazon-fba
Disallow: /portfolio/automated-tracking-number
Disallow: /portfolio/update-quantity-on-amazon
Disallow: /portfolio/add-products-to-amazon
Disallow: /portfolio/application-to-set-discount
Disallow: /portfolio/download-ebay-orders
Disallow: /portfolio/create-and-add-new-listings
Disallow: /portfolio/sync-quantity-on-ebay
Disallow: /portfolio/automated-tracking-number
Disallow: /portfolio/application-which-connects

但是当我通过浏览器访问它时,输出显示

sitemap: http://cdn.attracta.com/sitemap/1295818.xml.gz

只是想知道上面的文字是如何解释为以下链接的

这意味着所有搜索引擎机器人都将跳过以/portfolio/web-application-for-core开头的 url 和disallow中提到的其他 URL,即任何以/portfolio/web-application-for-core开头的 URL 都不会被机器人访问。

假设您的网站已https://example.com现在除了禁止中提到的网站外,您的所有网站都将被访问。https://example.com/portfolio/web-application-for-core将被忽略。

您可以从官方文档中阅读有关该指南的更多信息

相关内容

最新更新