我需要将DataflowTemplatedJobStartOperator与谷歌提供的GCS_Text_to_BigQuery模板一起使用。但该模板的"write_disposition"为";APPEND";,但我不希望数据被附加在BQ表中,而是希望每次运行都只导出新的数据。如何将其更改为写入截断以使用DataflowTemplatedJobStartOperator运行?
我试着把它作为environment和Parameter变量,但它无法正确识别它。
另一种选择是使用此模板源代码创建自定义模板。如文件中所述:
如果要覆盖BigQuery表中的数据而不是追加,请将模板源代码中的WriteDisposition从WRITE_APPEND更新为WRITE_TRUNCATE。
然后按照以下步骤使用Maven构建项目,在谷歌云存储上暂存模板文件。
您可以选择使用CLI工具或在Google Cloud控制台中执行模板文件。