DAG中的动态操作员

Question

我想知道我为气流DAG中动态操作员实现的目标是好还是坏实践。

我必须实现的目标是在内部创建一个" x"量的操作员 基于API调用的结果的DAG。例如，此DAG每周都会运行每一个。

我制作的程序，但我不知道这是否是为气流开发DAG的好习惯。所以我的问题是：这是一个好习惯，还是什么话可以解决这个问题？

我用来实现此目标的代码：

with DAG('my_dag', default_args=default_args, schedule_interval='@weekly') as my_dag:
    start = DummyOperator(
        task_id='start'
    )
    endpoint = 'www.example.com/api/dummies'
    r = requests.get(endpoint)
    dummies = r.json()
   for _, dummy in enumerate(dummies):
        dummy_operator = DummyOperator(
                    task_id='dummy_opr_{}'.format(dummy['id']
                    )
        start >> dummy_operator

Answer 1

简短答案，"是"它确实是动态创建此类任务的常见模式。