我想为web应用程序提供服务,并在JavaScript中编译一个具有双向数据绑定的模板。另一方面,我想为网络爬虫生成现成的HTML内容。
如何知道请求是否来自流行的网络爬虫/机器人,如谷歌,必应,facebook,twitter??
它们通常通过用户代理发送这类信息,例如
- 谷歌爬虫 雅虎Bing
或者类似的东西,在php中你可以用
找到用户代理$_SERVER['HTTP_USER_AGENT'];
但是,您应该意识到用户代理可以被欺骗。