系统架构,用于连续将文件从 Amazon S3 发送到 GCP 实例并返回



我没有必要的支持包直接询问谷歌。因此,我向任何有知识和善良的人提出这个问题。

我计划将我的一些服务器需求从 AWS 迁移到 GCP。为了实现这一目标,我想获得一些关于 GCP 产品套件的指导。

这一部分中的某些信息可能无关紧要,但我会将其留下来以刷出情况和需求。我计划将文件从 Amazon S3 存储桶持续发送到 GCP GPU 实例,因为文件已上传到我的 s3 存储桶。当文件传输到 GCP 实例并进行处理后,将发回 s3 存储桶。这项服务将持续运行,这就是我计划切换到 GCP 的原因,因为从长远来看,GPU 实例要便宜得多。

有人对这项努力的架构有建议吗?

最佳选择之一是使用 GCP 存储桶进行数据存储/传输。创建一个 GCP 存储桶,然后将其与 GCP 实例连接,以便可以通过该实例访问数据。

您可以阅读这篇帮助中心文章,了解如何将云存储桶与实例连接(这样,云存储桶服务将充当您的实例与其他资源之间的通用存储服务(例如。其他云服务((。此外,您还可以将 GCP 存储桶作为本地文件系统挂载到实例中(有关挂载存储桶的此文档(。

将 GCP 存储桶与实例连接后,您可以使用"存储传输服务"将文件从外部云服务(例如:AWS S3 存储桶(传输到连接的 GCP 存储桶。

您可能还需要查看有关将数据从 GCP 存储导出到 Amazon S3 的讨论。

最新更新