我想知道如何限制访问某个页面，除了社交媒体爬虫和谷歌爬虫。
这是因为即使没有经过身份验证的用户，我在社交媒体上的链接显示元预览(标题，描述，图像)也会很好。
为这些请求创建一个异常，我想这将是一个好主意。
我在网上搜索如果这些爬虫使用另一个HTTP请求，所以我可以把它们列入白名单。但据我所知，似乎并非如此。
。我发现htaccess可以创建重定向异常。但我的身份验证网关在PHP中。更重要的是，我想通过的只是头部>这些爬虫的数据，因此页面的其余部分仍然受到保护，不受未经身份验证的用户的攻击。
问题:有哪些可能性呢?我在网上找不到，一个都找不到。
这是一个相当微不足道的问题-只需配置您的web服务器允许用户代理访问。网上有很多搜索引擎用户代理列表——通常人们试图阻止他们访问内容。您还应该仔细阅读如何配置robots.txt以将bots引导到页面并避免将它们排除。