Robots.txt for umbraco

Question

我想知道是否有默认的Robots.txt为Umbraco(7.5)网站。现在，我用这些项目创建了一个。还要我补充什么吗?

User-Agent: *
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /css
Disallow: /Errorpages/
Disallow: /scripts/
Disallow: /Config/

Answer 1

实际上，您应该考虑从列表中删除/css和/scripts。我相信谷歌会发现这些信息更友好/更好。

Answer 2

关于CSS &JSS检查这个:https://yoast.com/dont-block-your-css-and-js-files/。我最近决定和他们断绝关系。

我的robots.txt文件看起来像这样:

# robots.txt for Umbraco
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /data/
Disallow: /install/
Disallow: /macroScripts/
Disallow: /masterpages/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/
User-agent: Libwww-perl
Disallow: /
Sitemap: http://{HTTP_HOST}/sitemap

Answer 3

我最终使用了这个

Sitemap: https://{HTTP_HOST}/sitemap.aspx
User-agent: *
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /config/
Disallow: /css/
Disallow: /data/
Disallow: /install/
Disallow: /masterpages/
Disallow: /python/
Disallow: /scripts/
Disallow: /umbraco/
Disallow: /umbraco_client/
Disallow: /usercontrols/
Disallow: /xslt/