减少了infinte循环中phantomjs/caperjs/spickyjs的内存使用

Question

我正试图使用phantomjs-casperjs和spiky来抓取一个使用无限滚动的页面。它应该继续单击更多按钮并从结果中获取新链接，直到手动停止。然而，脚本开始使用越来越多的内存，直到崩溃。我写了下面的脚本，有没有一种方法可以优化它，这样它就不会占用那么多内存：

function pressMore(previousLinksLength) {
    this.click('#projects > div.container-flex.px2 > div > a');
    this.wait(1000, function() {
      links = this.evaluate(function() {
        var projectPreview = document.querySelectorAll('.project-thumbnail a');
        return Array.prototype.map.call(projectPreview, function(e) {
          return e.getAttribute('href');
        });
    });
      this.emit('sendScrapedLinks', links.slice(previousLinksLength));
    // repeat scrape function
      pressMore.call(this, links.length);
  });
}
// spookyjs starts here
spooky.start(scrapingUrl);
//press the more button
spooky.then(pressMore);
spooky.run();

Answer 1

我在无限滚动网站上也遇到过这个问题。我永远找不到关于内存泄漏的消息。

简而言之，我最终使用的是滚动到。本质上，我会运行应用程序一段时间，记录最后一次滚动到的位置，然后使用记录的值重新启动应用程序，以防止内存过高。这是一种痛苦，因为许多网站你必须按顺序滚动到某个位置才能加载越来越多的内容。找到这些位置来划分你最后滚动到的位置可能很有挑战性。