我想在robots.txt中屏蔽一些URL,但我真的不知道该怎么做。
下面我提到了URL,我应该如何禁止动态URL。如果你能帮我摆脱这些疑虑,我真的很感激。
https://falgunishanepeacock.in/order-inquire?sku=FSPI-2003年11月20日
User-agent: Googlebot
Allow: https://falgunishanepeacock.in/order-inquire$
Disallow: https://falgunishanepeacock.in/order-inquire*
使用进行测试
https://www.google.com/webmasters/tools/robots-testing-tool
参考:
https://developers.google.com/search/docs/advanced/robots/robots_txt?csw=1
*
指定任何有效字符的0个或多个实例$
指定URL的末尾