我们可以通过气流web-server UI上传文件并触发DAG吗?



我需要通过气流web服务器UI上传一个日志文件,并在DAG中解析该日志文件。
我的要求是UI上的一个按钮,点击后将打开一个文件选择器来上传文件到气流。然后在DAG中使用此文件。类似地,我们使用Trigger DAG w/ config选项。这可能吗?

您可以使用"Admin ->Connections"菜单中创建与文件存储服务(如Amazon S3或Google Cloud storage)的连接。连接建立后,您可以使用"PythonOperator"或";BashOperator"将数据文件从存储服务下载到运行DAG的本地文件系统。

另一个选择是使用气流web服务器UI的"Admin ->Variables"菜单来定义包含数据文件路径的变量。然后,在DAG中,您可以使用"变量"操作符来检索路径并直接访问数据文件。

气流的设计使这几乎不可能。dag必须可用于所有气流组件,这些组件可以非常分散,并且不一定具有彼此的网络访问。

相反,您将希望在其他地方进行此上传过程,并将生成的DAG自己分发给您的气流组件,可能通过某种CI/CD。

最新更新