Google云平台到S3/RedShift

Question

无论如何在Python中是否可以从S3中的Google Cloud Platform进行摄入数据？我的最终目的是将数据从Google Big查询中获取到RedShift。

Answer 1

您可以使用gsutil将数据从Google Cloud Storage Buck复制到Amazon S3存储桶，使用此类命令

gsutil -m rsync -rd gs://gcs-bucket s3://s3-bucket

不需要Python代码。

Answer 2

您还可以查看https://rclone.org/它支持在包括Google Storage和AWS S3在内的许多云存储中复制数据。