一个地区的气流作业在另一个地区提交emr作业

Question

我们计划在美国西部地区拥有一个通用的AWS MWAA集群，该集群将在不同地区触发emr作业。

有没有一种方法可以通过在另一个区域运行的气流作业来触发一个区域中的emr作业？有可能吗？

Answer 1

Airflow不在乎它部署在哪里。想想看，如果你在谷歌、Azure或任何其他服务中部署了Airflow，那就不会阻止你在任何你想要的AWS地区触发EMR工作。

触发电子病历作业可以在您希望的任何地区完成。它与MWAA设置的区域无关。

您需要为每个相关区域定义Aws连接，并与操作员一起使用相关连接。