气流阻塞线程机器学习端到端



我正在运行气流进行端到端机器学习,一些机器学习任务需要数小时才能训练。我不希望dags和相应的火车任务成为瓶颈,我如何允许安排多个任务?我假设我必须将我的执行器从顺序更改为芹菜。我还缺少什么吗?

除了Celery,您还可以使用LocalExecutor,它设置起来更简单,可能适合您的需求。此外,您可以为机器学习任务创建一个池,同时将默认池用于其余任务 https://airflow.apache.org/docs/stable/concepts.html?highlight=pool#pools

最新更新