允许搜索引擎机器人对网站进行爬网,同时通过在本地存储中存储页面浏览次数来限制用户的访问



我们希望在客户端为未通过身份验证的用户实现免费使用限制。例如,如果未登录的用户在一天内超过一定的限制(比如每天5篇文章(,他们将无法看到内容。我们计划将这些信息存储在本地存储中,然后如果用户已经完成了一天的免费配额,则仅限制客户端进行API调用。

然而,对我们来说,有必要的是,这个限制不会影响网络机器人或谷歌机器人,它们会抓取网站进行索引。谷歌机器人会为从我的网站抓取的每个页面刷新本地存储内容吗?或关于如何为未经身份验证的用户实现免费使用限制,你有什么好的建议吗?

Googlebot和其他搜索引擎机器人从不在页面加载之间存储信息。他们用一个空的本地存储和cookie罐来获取每个页面负载。

您的计划适合搜索引擎优化。

相关内容

最新更新