气流按需DAG，在Sametime上运行多个实例

Question

我试图看看我的气流是否适合这种情况。目前，我有一个dag。这在S3上查找触发文件，创建EMR群集并提交Spark作业，然后删除EMR群集。我的要求是将其转换为按需运行。将有许多从应用程序运行导出的用户。对于每次出口运行，我将不得不称呼此DAG。这意味着在Sametime上将有一个以上的同一DAG实例。

我知道我们做了一个API调用，以触发DAG。但是我不确定我们是否可以在Sametime上运行一次以上的DAG实例。任何人都可以使用类似的用例吗？

Answer 1

我正在用max_active_runs

处理此操作

dag = DAG(
    'dev_clickstream_v1',
    max_active_runs=5,
    default_args=DEFAULT_ARGS,
    dagrun_timeout=timedelta(hours=2),
    params=PARAMS
)