为Moz SEO机器人提供HTML快照



我每天都在我的网站上使用Phantom来呈现动态页面。然后,我编写了一些代码来检查请求的用户代理,并在请求来自机器人时提供预呈现的HTML快照。我的机器人数组是:

var socialBots = [
  "facebookexternalhit/1.0", "facebookexternalhit/1.1", "FacebookExternalHit", 
  "twitterbot", "TwitterBot", "Twitterbot/1.0", 
  "LinkedInBot",
  "rogerBot", "rogerBot/1.0"
];

然后我的nodeJS代码(使用Express)来监听bot和服务快照:

app.use(function(req, res, next){
  var userAgent = req.get("user-agent"), 
      socialBot = false;    
  for (i=0; i<socialBots.length; i++) { 
    if (userAgent.indexOf(socialBots[i]) > -1) {
      socialBot = true;
      break;
    }
  }
  if (socialBot) {
    //serve snapshot
  }
});

这适用于Facebook和Twitter,但数组rogerBot的最后一行应该是Moz SEO,似乎不起作用。Moz SEO在最后一次抓取时没有得到我的快照。是我把用户代理搞错了还是别的什么?

RogerBot的用户代理将是:

rogerbot/1.0 (http://moz.com/help/pro/what-is-rogerbot-, rogerbot-crawler+shiny@moz.com)

需要将rogerBot小写到

rogerbot

最新更新