我想从网站中提取属性数据,
我已经使用机械化从几个网站获取数据,我已经尝试机械化在这个网站,我得到了所有重复的结果第一页的结果。
但是在这个网站中,所有的结果调用都是基于ajax调用的,
我如何从这种类型的网站,他们使用ajax,并在一些ajax调用本身加密的数据抓取。
Thanks in advance
在第一次加载页面时,不能使用Mechanize获得Ajax请求的结果,也不能使用普通的HTTP请求获得结果。您必须根据该页中的参数向其Ajax主机发出后续请求,并使用适当的值,这些值与浏览器在加载该页后使用的值相同。
这需要使用像Watir这样的东西,这样您就可以编写脚本,然后检索Ajax请求接收到的数据,或者通过分析嵌入的JavaScript来找出Ajax请求使用的参数,并用另一个Mechanize或HTTP请求欺骗他们的系统。