私人回购中的AWS|MWAA依赖关系



我正在努力了解AWS的MWAA服务。我们运行了少量的ETL流程,但我们希望在不久的将来进行扩展,我正在努力摆脱管理当前Airflow生产环境的困境。

我的问题很简单:有人能够通过requirements.txt安装Python依赖项吗?这些依赖项托管在GitHub上的privaterepo中?我猜测必须有一种方法以某种方式将身份验证令牌传递到需求文件。

一个直接的解决办法(也许很丑陋(是在AWS的某个地方复制回购?也许是S3?

感谢您的反馈!

建议的方法是将私人回购构建为whl,然后将该whl放入Airflow MWAA plugins.zip中。

我的问题很简单:有人能够通过requirements.txt安装Python依赖项吗?这些依赖项托管在GitHub上的私人转发中?

不支持此承载requirements.txt的方法。

一个即时的解决方案(也许很丑陋(是在AWS的某个地方复制repos?也许是S3?

要明确的是,这种方法不被认为是";"变通方法";。它是唯一支持的承载requirements.txt的方法。DAG文件和requirements.txt必须存储在S3中。像GitHub这样的源代码管理平台提供了像GitHubActions这样的工具,用于自动化CI/CD操作,例如将源文件复制到S3。

参考

  1. 为AmazonMWAA创建一个AmazonS3存储桶

最新更新