我如何解析通过无限滚动的页面(例如:Wallbase.cc/search/sky)与Python



不确定是否有任何与Mechanize或BeautifulSoup可以帮助。任何建议将非常感激!

Mechanize和Beautiful soup不能与用于无限滚动的javascript接口。

硒。

此外,如果您要查看ajax请求,当您使用无限滚动时,您将看到一个post请求到http://wallbase.cc/search/160与请求数据:

query:sky
board:123
res_opt:eqeq
res:0x0
aspect:0
nsfw_sfw:1
nsfw_sketchy:0
nsfw_nsfw:0
thpp:32
orderby:relevance
orderby_opt:desc

160对应于图像范围,所以之前的请求是wallbase.cc/searc/128

最新更新