大型文件RSYNC / CP从Google存储桶到S3失败



我有一个Google Ubuntu实例成功身份验证/连接到Google Bucket和Amazon S3桶。

我可以使用Ubuntu实例在任一个存储桶中复制/移动/编辑小文件/文件夹,我可以直接上传到AWS Web Interface

我在Google存储桶中有大约4个文件,我试图从Google -> aws

rsync或gsutil cp。

小文件没问题,但是几百个兆字节的任何东西都会失败。

这是我尝试过的命令

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp -r gs://(source bucket)/ s3://(destination bucket)/

gsutil rsync -d -r gs://(source bucket) s3://(destination bucket)

任何人都可以建议他们是否以前有这个问题,也可以推动Google Bucket-> aws的最佳方法,而无需下载/上传。

来自rsync-同步两个桶/目录的内容|云存储|Google云:

如果您正在同步云之间的大量数据,则可能会考虑设置Google Compente Engine帐户并在此处运行gsutil。由于交叉提供者gsutil数据传输通过gsutil运行的机器流动,因此可以使转移运行速度要比本地工作站上的gsutil快得多。

因此,使用此命令实际上 dis 下载然后上传数据。

由于您说只有4个文件,因此从Google Cloud下载它们可能同样容易,然后使用AWS命令行界面(CLI(上传到Amazon S3。

最新更新