摘要:
我想获取所有Play商店的搜索结果,问题是,滚动后显示的应用程序在PHP文件_get_content()中没有显示。
详细信息:
我正在尝试制作一个基于php的play store scraper。
我检查了所有stackoverflow答案和github示例,但它们都是旧的,不起作用。这是因为以前播放商店对更多应用程序/下一页使用"开始"参数。。现在播放商店在滚动上显示更多应用程序
所以经过这么多的研究,我决定制作自己的刮刀。
我正在做的事情:
file_get_contents():从播放存储中获取查询url,如:
$result = file_get_content( "https://play.google.com/store/search?q=football" );
这只会在结果中返回20个应用程序,我想要250个。
Play商店在查询结果上只显示20个应用程序,更多的应用程序仅在滚动时显示。
我试图从"网络选项卡"中获取谷歌ajax URL,但谷歌在下一个滚动页面中使用了token参数。。。
问题:
如何使用PHP获取滚动内容?如果不可能,我如何获得play store的所有搜索结果?
否则,我如何用PHP获取用javascript显示的页面内容?
查看chrome-dev工具中的商店站点。它有一个完美的数据源,但您可能难以获得令牌。我怀疑他们是否想把这个刮掉。
概述:
请求URL:https://play.google.com/store/apps?authuser=0
请求方法:POST
状态代码:200
远程地址:216.58.220.142:443
表单数据:
开始:20
编号:5
numChildrens:10
pagTok:CBQQFA==:S:ANO1ljJ62NU
ipf:1
xhr:1
令牌:OmILlMEkRv_FCJ1tveWI8rtELHQ:145931856460