使用 curl 执行 JavaScript 后获取源代码



是否可以使用 curl 获取网页的 html 源代码并在其上运行 javascript 解释器,以便我得到生成的内容?

我需要获取的页面在其中使用了一些编码和生成的内容,所以我想首先运行 javascript 来获取转义和生成的内容......还是我需要正则表达式 JavaScript 并自行"编译"JavaScript?喜欢

curl <myurl> | perl -ne 'm/unescape((.*))/; print "$1"' | <now to something with that>

我知道 curl 中没有 JavaScript 引擎,但我可以调用另一个脚本/程序来完成这项工作吗?

你可以做到,但它比我认为你意识到的要复杂得多。 curlwget都没有Javascript引擎,所以你需要一个有Javascript引擎的东西。

我会从 PhantomJS 和/或 Chromium Headless 开始。

最新更新