你能为DAG中的某些任务指定线程数吗

  • 本文关键字:任务 线程 DAG airflow
  • 更新时间 :
  • 英文 :


我是Airflow的新手,虽然我已经阅读了关于Airflow关于并行性的配置的文档和一些答案,但我似乎还没有找到指定任务中使用的线程的答案。

我目前的情况是,我有5个任务(以Python脚本的形式(,它们只进行API调用(但对不同的API服务(并转换数据。对于每个任务,我最多可以进行1000多次调用,因此我尝试在脚本中使用多线程。不幸的是,当我尝试在Airflow中运行多线程脚本时,它没有使用脚本中的多线程机制。我觉得这是因为Airflow配置覆盖了子脚本,还是我错了?感谢您的帮助或回答。

使用KubernetsPodOperator运行脚本。

您可以使用python基础映像并按原样运行脚本。这应该非常模拟您在本地执行脚本的方式,但现在它是在kubernetes pod中完成的。

最新更新