来自 PyPy 的最新 Apache-Airflow 安装 (1.9.0(
设置包括:
- 阿帕奇气流
- 阿帕奇气流[芹菜]
- 兔子MQ 3.7.5
- 芹菜 4.1.1
- 波斯特格雷斯
我在 3 台主机上安装了。
主机 #1
- 气流网络服务器
- 气流调度程序
- 兔子MQ服务器
- Postgres Server
主机 #2
- 气流工人
主机 #3
- 气流工人
我有一个简单的 DAG,它执行每 1 分钟运行的 BashOperator 任务。我可以看到调度程序"排队"作业,但是,它永远不会被添加到 Celery/RabbitMQ 队列中并被工人拾取。我有一个自定义的 RabbitMQ 用户,身份验证似乎很好。但是,Flower不会显示任何填充数据的队列。它确实看到两台工作计算机在各自的队列中侦听。
我检查过的事情:
- 气流池配置
- 气流环境变量
- 升级/降级芹菜和兔子MQ
- Postgres 权限
- 兔子MQ权限
- 调试级别气流日志
我阅读了有关作业未运行的文档部分。我的"start_date"变量是存在于当前日期之前的静态日期。
操作系统: Centos 7
我能够弄清楚,但我不确定为什么这是答案。
将"broker_url"变量更改为使用"pyamqp"而不是"amqp"是修复方法。