我在AWS(MWAA)中使用Apache Airflow,我已经部署了一个在python 3.8上开发的python包。它在本地运行良好,但在MWAA上,它开始出现语法错误,可能是因为MWAA中的python版本是3.7。是否有可能在MWAA中升级python版本或任何解决方法?
如您所见https://docs.aws.amazon.com/mwaa/latest/userguide/mwaa-faqs.html#python-MWAA版本使用python 3.7
这意味着plugins
和DAGs
必须在python 3.7中(没有海象!)但是tasks
仍然可以在python 3.8+上运行if:
- 您在docker中运行它们(通过EC2、Sagemaker或其他)
- 使用bashOperator在worker上升级python(我不建议使用)
我希望他们尽快升级。
MWAA的某些气流版本现在支持较新的python版本。例如,版本2.4.3使用3.10:link。