如何阻止机器人抓取用户生成的url

Question

我在一个电子商务网站上工作，它在用户在搜索栏或过滤产品后创建URL。

比如，如果用户搜索苹果，网站会有一个URL，比如.com/s=apple？或者类似的东西，如果用户使用过滤功能，它将创建另一个URL，谷歌正在对其进行爬网。

如果我需要屏蔽爬虫或离开它，我需要一个建议。有人能告诉我robot.txt规则来阻止机器人抓取那些用户生成的URL吗？

Answer 1

您必须这样做。否则将导致重复页面。请尝试此代码规则，并确保在搜索控制台中进行实时测试。不允许：s或不允许：/s

测试两者的