尝试克隆远程回购时出现Airflow/Github集成问题



所以我对气流还很陌生,只是真正将github用作一个相当基本的推/拉工具,而不是深入引擎盖并将其用于任何更复杂的事情。

话虽如此,现在是我希望对airflow/github做一些更复杂的事情的时候了。

我的组织几乎所有的事情都使用谷歌云,我目前使用magnus来触发我的预定查询。出于多种原因,我的目标是转到airflow来执行这些任务,但我实际上要做的是将我的源代码托管在github中,并使用gitpython为airflow查找.sql文件,然后触发刷新。

我似乎很难理解如何在一个气流实例中"托管"我的github repo,然后隔离一个文件以推送到dag任务。

所以,问题1-每次我尝试连接到远程回购时,我都会收到一个窗口错误

Cmd('git') not found due to: FileNotFoundError('[WinError 2] The system cannot find the file specified')
cmdline: git pull Remote_server_Address.git

我尝试了各种命令,但并没有真正发现文档有用。由于我的目标是在气流中托管回购(最好只在python实例中(,我希望我不需要提供本地路径,但即使我尝试这样做,我仍然会遇到同样的错误。

感谢所有的帮助,如果不清楚,请道歉。

还建议提出任何其他一体化建议。

感谢

您描述的设置有点难以理解。

例如

隔离一个文件以推送到dag任务

这是否意味着您希望任务在运行特定文件的实例时读取该文件?

如果是这种情况,您可能希望将文件位置(可能托管在GCS中(传递给dag。这解释了如何。

然而,一种更常见的模式是,像日常工作这样的工作会根据日期自动选择文件或运行查询。

您还可以设置一个传感器,当使用GCS传感器将文件添加到特定GCS文件夹时,该传感器将触发dag。

最新更新