使用R中的GET()函数抓取web时发生超时错误

Question

我试图从https://old.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nyse&render=下载在R中使用download.file((函数。事实证明，该请求被主机拒绝了。然后我尝试了

httr::GET(url=url, add_headers("User-Agent"="Mozilla/5.0"))

伪造的标题，但仍然不起作用。这很奇怪，因为在Python中应用了同样的技巧，并以200的状态代码通过了测试。

我该如何解决此问题？非常感谢。

Answer 1

欢迎来到Stack Overflow Yu Bai。

不使用download.file()，您可以简单地插入文件url作为read.csv()的参数，如下所示：

file_url = 'https://old.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nyse&render=download'
df = read.csv(file_url, header = FALSE)

如果出于任何原因你想下载文件，你可以做：

file_url = 'https://old.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nyse&render=download'
file_path = '~/Downloads/companylist.csv'
download.file(file_url, file_path)
read.csv(file_path, header = FALSE)

如果你的问题解决了，请告诉我们。