气流 1.9 - 任务卡在队列中



来自 PyPy 的最新 Apache-Airflow 安装 (1.9.0(

设置包括:

  1. 阿帕奇气流
  2. 阿帕奇气流[芹菜]
  3. 兔子MQ 3.7.5
  4. 芹菜 4.1.1
  5. 波斯特格雷斯

我在 3 台主机上安装了。

主机 #1

  • 气流网络服务器
  • 气流调度程序
  • 兔子MQ服务器
  • Postgres Server

主机 #2

  • 气流工人

主机 #3

  • 气流工人

我有一个简单的 DAG,它执行每 1 分钟运行的 BashOperator 任务。我可以看到调度程序"排队"作业,但是,它永远不会被添加到 Celery/RabbitMQ 队列中并被工人拾取。我有一个自定义的 RabbitMQ 用户,身份验证似乎很好。但是,Flower不会显示任何填充数据的队列。它确实看到两台工作计算机在各自的队列中侦听。

我检查过的事情:

  • 气流池配置
  • 气流环境变量
  • 升级/降级芹菜和兔子MQ
  • Postgres 权限
  • 兔子MQ权限
  • 调试级别气流日志

我阅读了有关作业未运行的文档部分。我的"start_date"变量是存在于当前日期之前的静态日期。

操作系统: Centos 7

我能够弄清楚,但我不确定为什么这是答案。

将"broker_url"变量更改为使用"pyamqp"而不是"amqp"是修复方法。

相关内容

  • 没有找到相关文章

最新更新