设计建议从Airflow调用Cloud Build来执行一个使用args的python函数



我正在寻求一些设计建议和任何使用Cloud Build执行带args的python函数的示例。

我在GCP上有一个使用Airflow的数据管道。一些文件在加载到BigQuery之前需要清理。我有一个Python函数来完成这项工作。我想要的是在Cloud Build映像上运行该函数,并从我的管道中传递函数args。

到目前为止,我有一个Cloud Build触发器,它安装并运行一个不带args的简单Python函数。

从我的研究中,我发现了两个选项,cloudbuild_v1库和Cloud Build Airflow操作符。

我想知道我应该使用哪种选择,或者是否应该考虑其他选择,以及可以借鉴的任何例子。

谢谢。

您不应该只使用其中的一个正确或最佳选项。实际上,这实际上取决于你的应用程序、你的偏好和必要条件等。我想让你更深入地研究这两种情况,并确认哪一种更适合你。如果我说其中一个,我会说Cloud Build Airflow,因为它有更多的内容可供学习和搜索。

关于示例,您可以在此处查看cloudbuild_v1库,在此处或此处查看Cloud Build Airflow。

最新更新