减少重建/更新 Google Cloud Composer 时的延迟?



我正在使用Google Cloud Composer,每当我更改环境变量或气流中的任何设置时,它都会触发气流环境的重建。

我在想可能有一种方法可以解决包依赖关系(即上传 python 包(以减少重建延迟。

我问是因为重建可能需要 2-15 分钟。

有没有人幸运地减少了这个构建时间(无论是否增加成本(?

在 Cloud Composer 中,环境更新通常需要 5-30 分钟,并且目前可以按预期工作。请查看此公共问题跟踪器以获取更多见解。您可以单击"+1",使其对 Cloud Composer 工程团队更可见。

请注意,作曲家需要处理大量资源,即在Google Kubernetes Engine和App Engine中部署Airflow,这会强制重建容器的映像,更新Airflow Web服务器等。 我建议您查看以下 Cloud Composer 体系结构文档,您可以在其中找到每次更改时需要更新的所有组件。

您可以检查是否有任何 POD 处于Evicted状态,这意味着您的节点处于资源不足状态,因此您应该考虑使用更高资源的计算机而不是标准计算机n1-standard-2

我希望您发现上述信息有用。

最新更新