有没有办法不使用芹菜或 kubernetes 来运行工作流。Doc 仅指定了两种在多集群模式下运行它的方法。我不能再有另一个多个 EC2 实例来运行我的工作线程进行计算吗?(不使用芹菜或 kubernetes(。
假设您有许多 EC2 实例。您将如何从气流管理它们?您将如何在这些 EC2 实例之间分配负载?Celery 或 Kubernetes 负责这些任务。
如果由于某种原因,您无法使用 Celery 或 Kubernetes,您可以在单个实例上安装 Airflow,并根据需要扩展其资源。
完成您想要的唯一方法是编写自己的执行程序(EC2Executor?(以满足您的要求。