>基本上,我正在构建一个网站,该网站进行网络抓取并从大约 8 个不同的网站获取特定网页以提取价格。我广泛使用file_get_html()
PHP Simple HTML DOM Parser
函数将页面源代码获取到字符串变量中并从中提取价格信息。
现在主要问题是显示所有不同网站价格信息的页面需要很长时间才能加载。
所以我的问题是
- 如何使页面加载更快。
- 如何分步加载页面,以便加载那些已获取的信息和其他信息随后将加载,例如Google图像搜索。
不要在页面加载时获取数据,而是在后台作业(cronjob?)中执行此操作并将其保存在数据库中。
因此,您只需从数据库中检索数据。此外,您可以在检索数据时添加带有时间戳的文本和/或让用户能够手动更新(获取)数据。
好吧,首先你们可以使用cURL而不是file_get_html()
,它很容易且非常可配置+它比使用简单的html dom函数更快。显然,您必须使用简单的html dom函数将字符串转换为dom对象str_get_html()
之后。