我有一个Google Ubuntu实例成功身份验证/连接到Google Bucket和Amazon S3桶。
我可以使用Ubuntu实例在任一个存储桶中复制/移动/编辑小文件/文件夹,我可以直接上传到AWS Web Interface
我在Google存储桶中有大约4个文件,我试图从Google -> aws
rsync或gsutil cp。小文件没问题,但是几百个兆字节的任何东西都会失败。
这是我尝试过的命令
gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp -r gs://(source bucket)/ s3://(destination bucket)/
或
gsutil rsync -d -r gs://(source bucket) s3://(destination bucket)
任何人都可以建议他们是否以前有这个问题,也可以推动Google Bucket-> aws的最佳方法,而无需下载/上传。
来自rsync-同步两个桶/目录的内容|云存储|Google云:
如果您正在同步云之间的大量数据,则可能会考虑设置Google Compente Engine帐户并在此处运行
gsutil
。由于交叉提供者gsutil
数据传输通过gsutil
运行的机器流动,因此可以使转移运行速度要比本地工作站上的gsutil
快得多。
因此,使用此命令实际上 dis 下载然后上传数据。
由于您说只有4个文件,因此从Google Cloud下载它们可能同样容易,然后使用AWS命令行界面(CLI(上传到Amazon S3。