r语言 - RCurl getURLContent通过最终重定向检测内容类型

Question

这是一个关于RCurl getURL的后续问题，通过循环链接到PDF杀死循环:

我有以下getURL命令:

require(RCurl)
#set a bunch of options for curl
options(RCurlOptions = list(cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")))
agent="Firefox/23.0" 
curl = getCurlHandle()
curlSetOpt(
  cookiejar = 'cookies.txt' ,
  useragent = agent,
  followlocation = TRUE ,
  autoreferer = TRUE ,
  httpauth = 1L, # "basic" http authorization version -- this seems to make a difference for India servers
  curl = curl
)

x = getURLContent('http://timesofindia.indiatimes.com//articleshow/2933019.cms')
class(x)
#[1] "character"
attr(x, "Content-Type")
#"text/plain" 

在浏览器中，上面的链接最终重定向到:

x = getURLContent('http://timesofindia.indiatimes.com/photo.cms?msid=2933009')
class(x)
#[1] "raw"
attr(x, "Content-Type")
#"application/pdf" 

假设我只知道第一个链接，我如何检测重定向(或重定向)的最终位置是某种类型(在本例中为PDF)?

谢谢! !

Answer 1

也许有更好的解决方案，但一种方法可能是:

# ...
h <- basicTextGatherer()
x = getBinaryURL('http://timesofindia.indiatimes.com//articleshow/2933019.cms', 
                 headerfunction = h$update, curl = curl)
r <- gregexpr("Content-Type:.*?n", h$value())
tail(regmatches(h$value(), r)[[1]], 1)
# [1] "Content-Type: application/pdfrn"   

Answer 2

我遇到了一个类似的问题，试图运行getURLContent使用摘要身份验证来获得二进制数据(使用非标准mime类型)。我在r2.15.3上运行RCurl v1.95-4.1。

如果我运行getURLContent没有binary=TRUE标志，它不会自动切换到binary=TRUE，因为这个数据类型的mime头，所以它试图执行rawToChar()并抛出一个'嵌入NULL在字符串'错误。然而，身份验证确实有效。

如果我在getURLContent调用中添加binary=TRUE标志，似乎会导致身份验证步骤出现问题，因为我随后会得到'Error: Unauthorized'响应。

最后的工作是用getBinaryURL()[在上面的例子中]代替getURLContent()，这允许userpwd="u:p"授权工作，并将二进制数据传递给我分配的对象。

我认为RCurl的作者已经改进了getURLContent的二进制数据处理v1.97，基于我在GitHub中看到的，所以这可能成为过去的事情…