下载HTML源代码的最快方法是通过JS引擎运行吗



我正在寻找一种从URL下载HTML的快速方法。页面必须首先由JS引擎处理,这样curl就不会剪切它

/Applications/Google Chrome.app/Contents/MacOS/Google Chrome --headless --disable-gpu --dump-dom https://www.nytimes.com/

但这非常慢(需要5秒或更长时间(,因为我怀疑Chrome有很多开销。

我想在一秒钟内得到一些可以工作的东西(假设网络服务器很快(。

这个小python包工作得很好:https://pypi.org/project/cloudscraper/

最新更新