Wget查询后得到的网页的源代码



当我在网站上大量输入测试数据时,我正在计算搜索框出错的次数。因此,我尝试wget查询结果,并查看html结果页面中是否有"错误"一词。在向网站提交查询后,我正在尝试下载生成的html网页。我构建了查询,并使用wget下载了生成的网页。

但是,只显示html的主要内容,而没有显示结果,因为它是通过使用外部javascript文件完成的。只有在浏览器上右键单击"查看页面源",才能看到我想要的html。有没有一种非手动的方法可以使用wget/ccurl下载这样的页面源代码,而不必点击所有这些源代码?

javascript是一个程序,程序的结果在多项式时间内是不确定的(对于任意输入)。因此,在沙箱环境中加载javascript,然后在测试用例中执行它会更容易。

Wgetcurl不能做到这一点:它们没有任何功能来检查/执行它们的获取结果。实际上,您需要的是一个浏览器,它可以有效地加载和测试脚本,如shell中的wget/ccurl。幸运的是,已经有这样的东西了:。它是一个firefoxchrome/explorer扩展,它使运行这些浏览器的实例可以编写脚本,并且可以轻松地远程控制。

如果你想在没有gui的情况下无交互地运行这些浏览器,我建议你使用一个假的(无硬件)X服务器。

谷歌搜索:硒,谷歌搜索:无头X。祝你好运!

最新更新