我正在使用Airflow 1.9.0。我们意识到,调度程序有时会在等待长时间运行的任务完成之前卡住,然后再开始一组新的任务。发生这种情况时,除了长时间的工作外,所有气流任务都将失效。
root 5111 1 0 17:58 ? 00:00:02 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root 5489 5119 0 17:58 ? 00:00:11 /usr/bin/python2 /usr/bin/airflow run ....
root 5522 5489 0 17:59 ? 00:00:01 /usr/bin/python2 /usr/bin/airflow run ....
root 5118 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5119 5111 0 17:58 ? 00:00:00 /usr/bin/python2 /bin/airflow scheduler -n 5 --pid /run/airflow/scheduler.pid
root 5120 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5121 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5122 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5123 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5124 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5125 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
root 5126 5111 0 17:58 ? 00:00:00 [airflow] <defunct>
知道我们做错了什么吗?
谢谢
从/bin/airflow scheduler -n 5
中删除-n 5
。-n
是传统的气流功能。本地执行器在进程中运行,因此会出现此行为。使用 Airflow 1.8.1+ 而不要使用"-n 5",您不会遇到 LocalExecutor 的问题。
欲了解更多信息:https://issues.apache.org/jira/browse/AIRFLOW-401?focusedCommentId=16094732&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#comment-16094732