使用PHP scraper获取All Play商店搜索结果(不仅仅是前20名)



摘要:

我想获取所有Play商店的搜索结果,问题是,滚动后显示的应用程序在PHP文件_get_content()中没有显示。

详细信息:

我正在尝试制作一个基于php的play store scraper。

我检查了所有stackoverflow答案和github示例,但它们都是旧的,不起作用。这是因为以前播放商店对更多应用程序/下一页使用"开始"参数。。现在播放商店在滚动上显示更多应用程序

所以经过这么多的研究,我决定制作自己的刮刀。

我正在做的事情:

file_get_contents():从播放存储中获取查询url,如:

$result = file_get_content( "https://play.google.com/store/search?q=football" );

这只会在结果中返回20个应用程序,我想要250个。

Play商店在查询结果上只显示20个应用程序,更多的应用程序仅在滚动时显示。

我试图从"网络选项卡"中获取谷歌ajax URL,但谷歌在下一个滚动页面中使用了token参数。。。

问题:

如何使用PHP获取滚动内容?如果不可能,我如何获得play store的所有搜索结果?

否则,我如何用PHP获取用javascript显示的页面内容?

查看chrome-dev工具中的商店站点。它有一个完美的数据源,但您可能难以获得令牌。我怀疑他们是否想把这个刮掉。

概述

请求URL:https://play.google.com/store/apps?authuser=0
请求方法:POST
状态代码:200
远程地址:216.58.220.142:443

表单数据:

开始:20
编号:5
numChildrens:10
pagTok:CBQQFA==:S:ANO1ljJ62NU
ipf:1
xhr:1
令牌:OmILlMEkRv_FCJ1tveWI8rtELHQ:145931856460

相关内容

最新更新