适用于 AWS Glue 的 CI/CD 管道



我是 AWS Glue的新用户,AWS Glue 是新的 AWS 托管服务之一,可轻松编排批处理作业工作流。

  • 我有 3 个不同的 AWS IAM 账户(开发、测试、生产(。分开 登录每个帐户。
  • 胶水,Scala 作业在我的版本中进行版本控制 Github存储库。
  • 我想构建一个 CI/CD 管道来自动化 在提交和推送 Github 存储库时测试、构建和部署我的 Glue 作业。

我浏览了许多描述 CI/CD 最佳实践的博客和文章。我在 AWS 博客上找到了一篇好文章(特别是关于数据管道工作流中的 CI/CD(。它非常简单,并且包含使用 CodeCommit 和 AWS Cloudformation 构建 CodePipeline 的详细信息。但是,CI/CD 的所有阶段都在同一个 AWS IAM 账户中启动和结束。

我有两个问题:

  1. 正在分离开发、测试和生产帐户(不同的 IAM(以进行构建和管理 数据管道/数据仓库,一个好的做法?
  2. 如果是,我将如何使用 3 个不同的 IAM 账户设计 CI/CD 管道?

关于为 AWS-Glue 设计 CI/CD 管道的最佳实践的任何建议?

请参阅此内容,其中详细说明了如何以安全的方式跨多个帐户设置 CI/CD 管道。

分离开发、测试和生产帐户(不同的 IAM(以生成和管理数据管道/数据仓库是否是一种好的做法?

是的,这是一个很好的做法。

如果是,我将如何使用 3 个不同的 IAM 账户设计 CI/CD 管道?

请参考共享链接

分离开发、测试和生产帐户(不同的 IAM(以构建和管理数据管道/数据仓库是否是一种好的做法?

是的,分隔不同 AWS 账户中的环境是一种很好的做法,这也是建议的安全实践。

如果是,我将如何使用 3 个不同的 IAM 账户设计 CI/CD 管道?

下面是一个博客,其中定义了如何在不同的 AWS 账户中配置资源并安全地与它们通信。

最新更新