我正在寻求一些设计建议和任何使用Cloud Build执行带args的python函数的示例。
我在GCP上有一个使用Airflow的数据管道。一些文件在加载到BigQuery之前需要清理。我有一个Python函数来完成这项工作。我想要的是在Cloud Build映像上运行该函数,并从我的管道中传递函数args。
到目前为止,我有一个Cloud Build触发器,它安装并运行一个不带args的简单Python函数。
从我的研究中,我发现了两个选项,cloudbuild_v1库和Cloud Build Airflow操作符。
我想知道我应该使用哪种选择,或者是否应该考虑其他选择,以及可以借鉴的任何例子。
谢谢。
您不应该只使用其中的一个正确或最佳选项。实际上,这实际上取决于你的应用程序、你的偏好和必要条件等。我想让你更深入地研究这两种情况,并确认哪一种更适合你。如果我说其中一个,我会说Cloud Build Airflow,因为它有更多的内容可供学习和搜索。
关于示例,您可以在此处查看cloudbuild_v1
库,在此处或此处查看Cloud Build Airflow。