如何在气流中重新启动芹菜工人



我目前遇到了一个问题,我的芹菜工人偶尔会冻结,需要重新启动。我有一个气流实例,我想从中使用BashOperatorSSHOperator进行配置和安排重新启动,但是由于它在Docker容器中,我不确定该如何进行。

从Local主持那里,我只会" Docker重新启动工人",但是由于Bash在气流容器内部运行,因此我需要找到一种通过气流CLI或SSH从容器到主机重新启动的方法,听起来很糟糕。有一种优雅的方法可以解决吗?

编辑:我看到花有一个REST API,可以从中重新启动池,但是我必须在芹菜配置中启用该池。看起来气流已经设置了配置,有什么办法可以覆盖此?

好吧,这是我最终做的:

t1 = BashOperator(
    task_id="celery_restart",
    bash_command="celery multi restart 1",
    dag=dag
)

并没有真正阻止我的任务悬挂,但是它是:(。

最新更新