使用 Mechanize 处理动态加载内容的任何方法

Question

我正在尝试从 Steam 获取一些游戏列表，但它一直不起作用。基本上，该页面默认加载"相关"的第一页，其URL如下所示：

http://store.steampowered.com/search/?auction=1#sort_by=_ASC&page=1&auction=1

如果我将 URL 更改为 &page=2 ，在页面上使用检查元素会显示更新的列表，但是查看页面源代码（在 Firefox 和 Nokogiri 中）仍然会显示默认内容。

无论我选择哪种排序选项或页面，即使可见内容和浏览器内源更改，页面源也不会更改。有什么方法可以循环访问页面并解析不同的列表，还是超出了我的控制范围？

Answer 1

这是第 2 页的网址

http://store.steampowered.com/search/results?sort_by=_ASC&page=2&auction=1&snr=1_7_7_230_7

这应该是您所需要的，解析它与第 1 页相同。