作为并行复合上传'gsutil compose'和'gsutil cp'有什么区别


  • gsutil composegsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket有什么区别?
  • 只有当我们有许多较小的源文件时,gsutil compose才有效吗?
  • 我们将如何获得这些较小的文件?

撰写操作

撰写命令创建一个新对象,其内容为 同一对象下给定源对象序列的串联 桶。

gsutil compose gs://your-bucket/file1.txt  gs://your-bucket/file2.txt gs://your-bucket/file3.txt

上面的命令会将file1.txtfile2.txt的内容连接成file3.txt。大文件也可以连接,尽管在单个gsutil compose命令中最多只能连接 32 个文件。您需要事先指定并拥有这些文件。更多关于这个 这里.

并行复合上传

如果启用(见下文(,一个大文件将被拆分为组件 并行上传然后在云中组合的片段 (临时组件最终被删除(。最大大小 每个组件由变量确定parallel_composite_upload_component_size.

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket

上面的命令会将bigfile拆分为最多 32 个片段,一旦上传,它们将被组合成一个片段并删除临时文件,类似于撰写操作。更多关于这个 这里.

简而言之,第一个命令用于组合对象;后者用于拆分对象,上传片段,然后在Cloud Storage中组合它。

最新更新