我有脚本使用simple_html_dom来解析不同的站点数据。它查看我的用户表，获取所需的各种站点，然后解析数据并将其存储到我的数据库中。
问题是，当我迭代超过3个用户时，我得到一个404错误。经过大量的调试(其中大部分是我边调试边学习)，看起来只要我的TTFB达到40秒，我就会得到404未找到错误。
我在我的php文件中包含了以下内容来延长时间，但这个问题似乎忽略了这些语句。
//抓取一个站点可能需要一段时间…
ini_set("memory_limit", "-1");
ini_set('max_execution_time', 300); //300 seconds = 5 minutes
ini_set('max_input_time', -1); //300 seconds = 5 minutes
set_time_limit(0);
但我从来没有遇到过这个问题之前，我得到一个存在的页面404。我有点新simple_html_dom和爬行通过不同的页面，但问题是，等待时间太长?如果是这样，我该如何解决这个问题?由于
所以它与执行时间或我可以用php脚本更改的任何设置无关。对于任何有同样问题的人，这是通过改变simple_html_dom加载脚本的方式来修复的:
$html = new simple_html_dom();
$html->load_file($url_link);
:
$html = @file_get_contents($url_link);
$html = str_get_html($html);
希望这对其他人有帮助!