BigQuery到BigQuery数据流



我看过这篇SO文章,但它已经三年了,我认为GCP从那时起已经改变了。

我想做的是使用DataFlow作业建立一个数据管道,将数据从一个GBQ项目复制/转换到另一个GBQ项目。

要创建DataFlow作业,您需要选择一个模板,但没有符合我需求的模板,即没有BQ到BQ模板。

有一个使用自定义模板的选项(我想这将是一个python脚本或类似的东西(,但没有BQ-BQ模板似乎很奇怪。DataFlow不是适合此作业的工具吗?我应该只使用计划查询吗?

提前感谢

如果你真的想使用数据流模板,有一种方法不是很直接,你可以使用BigQuery到云存储模板将数据存储在GCS中,然后使用云存储到BigQuery模板将数据带到目标项目。但是,请确保您授予了从目标项目访问云存储桶所需的适当权限。

如果使用SQL无法实现您想要的转换,或者使用SQL不实用,则可以使用云数据融合->集成工作室。在这里,您可以选择源和接收器作为BigQuery,并且有许多选项可用于转换组件。它类似于ETL工具。Data Fusion Quickstart文档。

否则,您可以在BigQuery中根据自己的要求执行或调度查询,并将查询结果保存在另一个表中。将查询结果存储在目标表中。

最新更新