Twitter用户代理分享

Question

当某人在某个页面上发布消息时，twitter会抓取页面以获取诸如检查twitter Cards之类的数据，有人知道twitter使用什么User Agent吗?

Answer 1

Twitter使用Twitterbot的User-Agent(带有版本，如Twitterbot/1.0)在抓取页面时查找Twitter Cards标记。如果你需要创建异常，Twitter的爬虫会在扫描url时尊重robots.txt。

阅读更多关于推特卡片URL抓取&缓存。