我有 941 个 URL 要抓取,我尝试在 Linux 上使用 R 进行并行处理来完成这项任务。有趣的是,并非所有 URL 都被抓取,但当我尝试使用非并行编程时,所有 URL 都被抓取了。以下是我在抓取部分的脚本块:
平行:
foreach(a=1:ntasks) %dopar% {
#script to scrape URL
}
非并行
for(a in 1:ntasks) {
#script to scrape URL
}
我错过了什么吗?
请告知
我没有继续这项任务,而是将这种情况视为自然条件