使用gsutil恢复下载



我一直在使用gsutil下载文件,进程已经崩溃。

gsutil的文档位于:

https://cloud.google.com/storage/docs/gsutil_install#redhat

文件位置说明如下:https://genebass.org/downloads

如何恢复文件下载而不是从头开始?

我一直在寻找类似问题的答案,尽管这些答案是针对不同的问题提供的。例如:

GSutil使用跟踪器文件恢复下载

如GCP文档中所述,使用gsutilcp命令:

gsutil在使用cp命令上载大于8MIB的对象时自动执行可恢复的上载。无需指定任何特殊的命令行选项即可实现此功能。[…]类似地,无论何时使用cp命令,gsutil都会自动执行可恢复的下载(使用标准的HTTP范围GET操作(,除非目标是流。在这种情况下,部分下载的临时文件将在目标目录中可见。完成后,原始文件将被删除,并用下载的内容覆盖。

如果您还在大型生产任务中使用gsutil,您可能会发现有关编写生产转移脚本的有用信息。

或者,您可以使用Range标头(只需注意HTTP规范阈值(从Google Cloud Storage实现可恢复下载。

我不确定您使用的是哪条命令(cp还是rsync(,但无论哪种方式,gsutil都将幸运地为您恢复下载。

来自gsutil cp:的文档

gsutil会自动恢复中断的下载和中断的可恢复上传,但执行流传输时除外。

因此,如果您使用gsutil cp,它将自动恢复部分下载的文件,而无需重新启动它们。但是,继续使用cp也将重新下载已经完成的文件。为了避免这种情况,请使用-n标志,这样您已经下载的文件就会被跳过,比如:

gsutil -m cp -n -r gs://ukbb-exome-public/300k/results/variant_results.mt .

如果您使用的是gsutil rsync,那么它将简单地恢复下载。

最新更新