创建用于多个 GCP 项目的数据流模板

Question

我希望为我们的数据流作业设置适当的部署管道，允许对特定版本的作业进行持续交付和 QA 测试。

为了做到这一点，我希望将作业"构建"到可以在不同位置引用和执行的工件中。我一直在研究数据流模板以执行此操作，但似乎必须为特定的 GCP 项目构建模板，这意味着我无法在暂存项目和生产项目之间共享工件。

有没有更好的方法来完成我想要做的事情？人们通常做什么才能强制实施可预测的部署管道？

Answer 1

基于模板创建作业时，可以覆盖项目。这是 Go 中的一个示例。

package main
import (
    "context"
    "fmt"
    "log"
    "golang.org/x/oauth2/google"
    "google.golang.org/api/dataflow/v1b3"
)
func main() {
    ctx := context.Background()
    projectID := "PROJECT"
    bucket := "gs://BUCKET/"
    input := "gs://dataflow-samples/shakespeare/kinglear.txt"
    output := bucket + "shakespeare"
    temp := bucket + "temp"
    template := "gs://dataflow-templates/wordcount/template_file"
    client, err := google.DefaultClient(ctx, "https://www.googleapis.com/auth/cloud-platform")
    if err != nil {
        log.Fatal(err)
    }
    dataflowService, err := dataflow.New(client)
    if err != nil {
        log.Fatal(err)
    }
    templateService := dataflow.NewProjectsTemplatesService(dataflowService)

    mapP := map[string]string{"inputFile": input, "output": output}
    env := dataflow.RuntimeEnvironment{TempLocation: temp}
    r := dataflow.CreateJobFromTemplateRequest{GcsPath: template, Parameters: mapP, Environment: &env}
    resp, err := templateService.Create(projectID, &r).Do()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("Job URL: https://console.cloud.google.com/dataflow/job/%s?project=%sn", resp.Id, resp.ProjectId)
}