谷歌搜索和必应搜索引擎抓取我们的域。我们只想通过参数向公众隐藏一些页面。有什么可能的办法吗。
示例
mydomain.com/products/phone.xhtml?xtoken=value
mydomain.com/products/electronics.xhtml?xtoken=value
我们不想同时隐藏mydomain.com/products/phone.xhtml。我们不想显示mydomain.com/products/phone.xhtml?xtoken=value是受限制的内容。
这是一种非常糟糕的方法，因为你只需要在robots.txt中键入这些地址来提醒公众注意这些地址。你假设所有爬网程序都尊重robots.txt。除此之外，你的解决方案有什么问题？