R 并行处理,无法完成所有任务



我有 941 个 URL 要抓取,我尝试在 Linux 上使用 R 进行并行处理来完成这项任务。有趣的是,并非所有 URL 都被抓取,但当我尝试使用非并行编程时,所有 URL 都被抓取了。以下是我在抓取部分的脚本块:

平行:

foreach(a=1:ntasks) %dopar% {
     #script to scrape URL
}

非并行

for(a in 1:ntasks) {
    #script to scrape URL
 }

我错过了什么吗?

请告知

我没有继续这项任务,而是将这种情况视为自然条件

最新更新