R-使用HTTR或RCURL获取URL标头信息

Question

我从r。

获得URL标头信息没有成功

httr

使用httr包装的HEAD：

ur <-"https://secure.energyaustralia.com.au/EnergyPriceFactSheets/Docs/EPFS/E_B_V_BEDGE_CI_37_13-10-2016.pdf"
HEAD(ur)

我得到此错误：

Error in curl::curl_fetch_memory(url, handle = handle) : 
  SSL connect error

我重新安装了curl/httr软件包，但我仍然有同样的错误。

rcurl

使用 RCurl我可以获取标题（在详细模式下），但我得到了另一个错误：

getURI(ur,header=TRUE,verbose=TRUE)

我得到：

Error in curlPerform(curl = curl, .opts = opts, .encoding = .encoding) : 
  embedded nul in string:

卷曲

在终端中使用 curl的工作正常：

 curl -I https://secure.energyaustralia.com.au/EnergyPriceFactSheets/Docs/EPFS/E_B_V_BEDGE_CI_37_13-10-2016.pdf

我得到：

HTTP/1.1 200 OK
Content-Length: 237503
Content-Type: application/pdf
Last-Modified: Wed, 14 Dec 2016 05:18:09 GMT
Accept-Ranges: bytes
ETag: "c27d5775c955d21:27a"
Server: Microsoft-IIS/6.0
X-Powered-By: ASP.NET
Date: Fri, 30 Dec 2016 15:44:05 GMT

意味着当我尝试从R。

做同样的事情时

欢迎任何帮助。谢谢。

编辑

看起来的问题取决于配置系统。我的是

R version 3.3.2 (2016-10-31)
Platform: x86_64-pc-linux-gnu (64-bit)
Running under: Ubuntu 16.04.1 LTS

Answer 1

哇。这很烦人。在我们俩在聊天会话中尝试了一堆事情之后，事实证明，关键不是让httr→curl→openssl自动换对SSL/TLS连接。Ubuntu上可能存在一个潜在的CA捆绑问题，导致了这一点，但是可以解决的情况下解决，而可以通过：

来处理。

library(httr)
library(dplyr)
ur <- "https://secure.energyaustralia.com.au/EnergyPriceFactSheets/Docs/EPFS/E_B_V_BEDGE_CI_37_13-10-2016.pdf"
HEAD(ur, config(sslversion=4)) %>%  ## <- this is the magic line
  .$headers %>%
  as_data_frame() %>%
  glimpse()
## Observations: 1
## Variables: 8
## $ content-length <chr> "237503"
## $ content-type   <chr> "application/pdf"
## $ last-modified  <chr> "Wed, 14 Dec 2016 05:18:09 GMT"
## $ accept-ranges  <chr> "bytes"
## $ etag           <chr> ""c27d5775c955d21:27a""
## $ server         <chr> "Microsoft-IIS/6.0"
## $ x-powered-by   <chr> "ASP.NET"
## $ date           <chr> "Fri, 30 Dec 2016 19:20:47 GMT"