正在将10gb文件上传到GCS



我正在将此文件上传到云中,上传速度约为1.3MiB/s。感觉这很慢,可能有更好的方法,但我的公司对云计算非常陌生。

我使用谷歌SDK连接并上传通过:

gsutil cp[10gb文件][bucket]

我读过关于并行上传的文章,但担心需要一些特殊的crcmod的警告。

非常感谢您的帮助!

编辑:我尝试了-o GSUtil:并行建议,但这并没有加快我的上传速度。我在通过VPN路由的桌面上执行此操作。我不知道这是否会产生任何后果,也不知道我该如何检查这是否会导致问题。

我建议您看看对象组合。

例如:

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp ./localbigfile gs://your-bucket

一些阅读参考:

https://cloud.google.com/blog/products/gcp/optimizing-your-cloud-storage-performance-google-cloud-performance-atlas

您已经被处理可恢复上传的gsutil覆盖。

可恢复上传是上传大文件的推荐方法

将数据上载到云存储时,gsutil命令行工具在gsutil cp和gsutil rsync命令中使用可恢复上载。

本谷歌文档中关于可恢复上传的更多详细信息。

相关内容

  • 没有找到相关文章