气流任务:OSError: [Errno 23]系统中打开的文件太多

Question

是否有人与S3PrefixSensor有此错误?

OSError: [Errno 23] Too many open files in system: '/usr/local/lib/python3.6/dist-packages/botocore/data/endpoints.json'

当调度程序同时使用该操作符运行超过12个任务时，我遇到了这个错误。如果我手动重新运行它们，它们可以正常工作。

我试着增加这个问题的答案所建议的ulimit，但它不适合我:Errno 24:太多打开的文件。但我不能打开文件?

奇怪的是，错误正在出现，因为我同时只运行12个任务。这是S3传感器操作器的问题吗?

Answer 1

您在评论中提到您使用airflow.sensors.s3_prefix_sensor.S3PrefixSensor这是一个过时的传感器版本。

更新后的版本包含PR，它缓存钩子，防止每次传感器戳创建新的连接。

对于Airflow<2.0.0安装backport provider:

pip install apache-airflow-backport-providers-amazon

对于Airflow>=2.0.0安装提供程序:

pip install apache-airflow-providers-amazon

然后通过:

导入传感器

from airflow.providers.amazon.aws.sensors.s3_prefix import S3PrefixSensor