如何在抓取Python请求时避免这种付费墙?

Question

我正试图从一个有一种付费墙的网站下载内容。你有一些免费的文章可以阅读，然后你需要订阅才能阅读更多。然而，如果你在隐身模式下打开链接，你可以每打开一个隐身窗口多读一篇文章。

所以我正在尝试使用Python的请求库从这个网站下载一些页面。我请求URL，然后使用Bs4解析结果。然而，它只适用于列表的第一页，下面的页面没有内容，而是有"购买订阅"等信息。

如何避免这种情况?

Answer 1

我认为你可以尝试在浏览器中关闭javascript，它可能工作，但不是100%。