r语言 - "Failure during raster IO"可能与光栅大小有关?



我在R中使用非常大的栅格。 我有一个以前能够使用相同的大栅格运行的代码,但是当我尝试再次运行我的代码以实现可重现性时,我收到相同的错误"栅格 IO 期间失败"。

例如,在代码的这一部分中,我尝试将大型光栅(~5 GB(分解为较小的切片,以便我可以加快R中的处理时间。

large_raster <- stack("D:/large_raster.tif")
tileno <- 2 # split the large raster into 2 tiles
cl <- makeCluster(3)
registerDoSNOW(cl)
foreach(i = 1:nlayers(large_raster))%dopar%{
library(raster)
library(SpaDES)
removeTmpFiles(h=0)
newraster <- splitRaster(large_raster[[i]],nx=tileno,ny=1)
for(j in 1:length(newraster)){
if(i<10){
writeRaster(newraster[[j]], filename=paste("D:/large_raster_layer0", i, "_tile", j, ".tif",sep=""))
}else{
writeRaster(newraster[[j]],filename=paste("D:/large_raster_layer", i, "_tile", j, ".tif",sep = ""))
}
}  
}
stopCluster(cl)
#stack tiles
dir <- ("D:/")
for(j in 1:tileno){
tiles<-list.files(dir,pattern=paste("tile",j,sep=""))
for(i in 1:length(tiles)){
r<-raster(paste(dir,tiles[i],sep=""))
if(i==1){s<-stack(r)
}else{s<-stack(s,r)}
}
writeRaster(s, filename = paste("D:/large_raster_tile", j, ".tif", sep=""))
}

但是我得到错误

Error in rgdal::getRasterData(object@file@con, offset = offs, region.dim = reg,  : 
Failure during raster IO

如果我跳过切片步骤并最终使用我的 5 GBlarge_raster,我最终会在这段代码中再次收到错误,我正在通过叠加另外 2 个名为dswe2wfpsswt的栅格来创建一个名为wfps_growSeas的新栅格:

cl <- makeCluster(3)
registerDoSNOW(cl)
wfps_growSeas <- foreach(j = 1:nlayers(dswe2wfps))%dopar%{
library(raster)
overlay(dswe2wfps[[j]],swt[[j]], fun=function (x,y){
x[y[]<=5]<-0
return (x)},filename=paste("D:/temp2delete/raster",j, "_", info, ".tif",sep=""),overwrite=TRUE)
}  
stopCluster(cl)
wfps_growSeas <- stack(wfps_growSeas)

我收到错误:

Error in { : task 1 failed - "Failure during raster IO

奇怪的是,这些错误最近发生了。 几周前,我能够使用这些完全相同的大栅格运行这些精确的代码,目前,我能够使用较小的栅格运行这些编码。 我使用的是 R-3.6.2,但同事认为此错误通常与纯粹的光栅大小和 R 的内存有关。这篇文章表明此错误是由于栅格损坏造成的,但我认为这不是问题所在。有什么建议吗?

可能是因为磁盘空间不足,主要是在临时文件夹中。清理临时文件夹和/或将其设置为其他位置。请参阅?rasterOptions

通过将我的文件夹(以及保存在文件夹中的栅格(从 D 驱动器(外部 2 TB 固态硬盘驱动器(更改为计算机的 C 驱动器,解决了该问题。 我仍然可以直接在我的 D 驱动器上运行使用较小光栅大小的代码(在这种情况下,实际上它仍然有足够的内存(。

最新更新