我一直在使用gsutil
下载文件,进程已经崩溃。
gsutil
的文档位于:
https://cloud.google.com/storage/docs/gsutil_install#redhat
文件位置说明如下:https://genebass.org/downloads
如何恢复文件下载而不是从头开始?
我一直在寻找类似问题的答案,尽管这些答案是针对不同的问题提供的。例如:
GSutil使用跟踪器文件恢复下载
如GCP文档中所述,使用gsutil
cp
命令:
gsutil在使用cp命令上载大于8MIB的对象时自动执行可恢复的上载。无需指定任何特殊的命令行选项即可实现此功能。[…]类似地,无论何时使用cp命令,gsutil都会自动执行可恢复的下载(使用标准的HTTP范围GET操作(,除非目标是流。在这种情况下,部分下载的临时文件将在目标目录中可见。完成后,原始文件将被删除,并用下载的内容覆盖。
如果您还在大型生产任务中使用gsutil,您可能会发现有关编写生产转移脚本的有用信息。
或者,您可以使用Range标头(只需注意HTTP规范阈值(从Google Cloud Storage实现可恢复下载。
我不确定您使用的是哪条命令(cp
还是rsync
(,但无论哪种方式,gsutil
都将幸运地为您恢复下载。
来自gsutil cp
:的文档
gsutil会自动恢复中断的下载和中断的可恢复上传,但执行流传输时除外。
因此,如果您使用gsutil cp
,它将自动恢复部分下载的文件,而无需重新启动它们。但是,继续使用cp
也将重新下载已经完成的文件。为了避免这种情况,请使用-n
标志,这样您已经下载的文件就会被跳过,比如:
gsutil -m cp -n -r gs://ukbb-exome-public/300k/results/variant_results.mt .
如果您使用的是gsutil rsync
,那么它将简单地恢复下载。