如何使用Python urllib和bs4抓取ajax网站产品？

Question

我正在尝试使用urllib + bs4来抓取naturebox的网站。

我想创建一个投票网络应用程序，这样我的办公室就可以每月从naturebox投票购买新零食。

理想情况下，我想从naturebox的网站上提取零食，因为它们经常变化。

这是我的代码：

 import urllib2,cookielib
site = 'http://www.naturebox.com/browse/'
hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Charset': 'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
       'Accept-Encoding': 'none',
       'Accept-Language': 'en-US,en;q=0.8',
       'Connection': 'keep-alive'}
req = urllib2.Request(site, headers=hdr)
try:
    page = urllib2.urlopen(req)
except urllib2.HTTPError, e:
    print e.fp.read()
content = page.read()
print content

但输出只是JavaScript，没有实际零食的数据（图片，名称，描述等）

显然我是一个菜鸟 - 我如何获得这些数据？

Answer 1

您可以使用Selenium Webdriver。这将允许您加载站点，包括javascript/ajax，并从那里访问html。另外，请尝试使用PhantomJS，以便它可以在后台隐形运行。