r-curl::curl_fetch_memory(url，handle=handle)中出错:达到超时:发送失败:连接

Question

我正试图从Youtube的API的5000个视频中提取评论。当我下载5个或更多视频时，我的代码工作得很好，但当我插入我想要的整个视频列表时，它在运行数小时后会抛出以下错误。我不知道这是什么意思，也不知道这是否是记忆问题。非常感谢。

R中的代码行：

comments_1 <- CollectDataYoutube(video1,key,writeToFile = FALSE)

video1:是我拥有的5000个视频代码的列表，以便API直接从中提取评论。

key：是存储在对象中的API密钥

错误消息：

curl:：curl_fetch_memory(url，handle=handle(中的错误：达到超时：发送失败：连接已重置

Answer 1

RCurl只能保持互联网连接打开很长时间以流式传输数据。这是互联网延迟问题，而不是内存问题。你最好将你的请求分批处理，然后再组合。