我有以搜索结束的页面=关键字，我希望谷歌防止抓取这些页面。示例页面如下。我想知道如果我在robots.txt中放了一个Disallow:/search，会起作用吗？
示例URL：
http://www.website.com/search?=neymar
http://www.website.com/search?=ronaldo
http://www.website.com/search?=kobe
所以基本上，我不希望谷歌抓取所有以搜索结束的URL=关键字。非常感谢。
它会工作的。
Disallow: /search?=*
您可以简单地使用；不允许：/"；标签以及URL。这将工作