通过字典动态传递参数给气流操作器

Question

例如使用BashOperator:

bash_task = BashOperator(
task_id="bash_task",
bash_command="echo "here is the message: '$message'"",
env={"message": '{{ dag_run.conf["message"] if dag_run else "" }}'},
)

我不希望"hardocode"操作符的参数，即。'task_id'， 'bash_command'等

而是传递一个字典，例如:

arguments = {
"task_id": "Bash_task",
"bash_command": "echo "here is the message: '$message'"",
}
bash_task = BashOperator(
arguments=arguments
)

在我的例子中，我正在使用更复杂的操作符，并且需要根据某些条件动态设置参数。我的理解是，你可以用"参数"来做这件事，但它并没有像我想象的那样工作。我可以动态地传递参数值，例如通过一个yaml文件，但不能动态地选择要设置哪些参数，以及它们的值将通过例如字典。

这是可能的吗?最好的方法是什么?

Answer 1

这是Python的标准特性(**运算符)。

使用**arguments扩展字典到关键字参数