我目前遇到了一个问题,我的芹菜工人偶尔会冻结,需要重新启动。我有一个气流实例,我想从中使用BashOperator
或SSHOperator
进行配置和安排重新启动,但是由于它在Docker容器中,我不确定该如何进行。
从Local主持那里,我只会" Docker重新启动工人",但是由于Bash在气流容器内部运行,因此我需要找到一种通过气流CLI或SSH从容器到主机重新启动的方法,听起来很糟糕。有一种优雅的方法可以解决吗?
编辑:我看到花有一个REST API,可以从中重新启动池,但是我必须在芹菜配置中启用该池。看起来气流已经设置了配置,有什么办法可以覆盖此?
好吧,这是我最终做的:
t1 = BashOperator(
task_id="celery_restart",
bash_command="celery multi restart 1",
dag=dag
)
并没有真正阻止我的任务悬挂,但是它是:(。