curl 1020在尝试使用bash脚本抓取页面时出错



我正试图编写一个bash脚本来访问SSRN上的日志概述页面。

我正在尝试使用curl,这在其他网页上也适用,但如果我尝试运行以下代码,它会为我返回error code: 1020

curl https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1925128

我认为这可能与URL中的问号有关,但我让它与其他包含问号的页面一起使用。

这可能与页面允许做什么有关。但是,我也可以使用R的rvest包访问页面,所以我认为它通常也应该使用bash。

看起来该网站已阻止通过curl访问。更改用户代理,它应该可以正常工作,即

curl --user-agent 'Chrome/79' "https://papers.ssrn.com/sol3/papersstract_id=1925128"

最新更新