我正在努力了解AWS的MWAA服务。我们运行了少量的ETL流程,但我们希望在不久的将来进行扩展,我正在努力摆脱管理当前Airflow生产环境的困境。
我的问题很简单:有人能够通过requirements.txt
安装Python依赖项吗?这些依赖项托管在GitHub上的privaterepo中?我猜测必须有一种方法以某种方式将身份验证令牌传递到需求文件。
一个直接的解决办法(也许很丑陋(是在AWS的某个地方复制回购?也许是S3?
感谢您的反馈!
建议的方法是将私人回购构建为whl,然后将该whl放入Airflow MWAA plugins.zip中。
我的问题很简单:有人能够通过requirements.txt安装Python依赖项吗?这些依赖项托管在GitHub上的私人转发中?
不支持此承载requirements.txt
的方法。
一个即时的解决方案(也许很丑陋(是在AWS的某个地方复制repos?也许是S3?
要明确的是,这种方法不被认为是";"变通方法";。它是唯一支持的承载requirements.txt
的方法。DAG文件和requirements.txt
必须存储在S3中。像GitHub这样的源代码管理平台提供了像GitHubActions这样的工具,用于自动化CI/CD操作,例如将源文件复制到S3。
参考
- 为AmazonMWAA创建一个AmazonS3存储桶