将GCP PostgreSQL表同步到GCP BigQuery



我们目前正在使用Stitchdata定期将数据从PostgreSQL实例同步到BigQuery实例。数据用于生成报告。Stitchdata允许使用几个复选框和选项构建管道,而无需编码。

我想知道谷歌云平台是否提供了一个解决方案,允许PostgreSQL数据库(使用GCP托管(同步到BigQuery表。这是为了数据主权和用户数据隐私问题。

我们不想使用federated queries,因为我们只想将某些列从PostgreSQL导入BigQuery。

我看过:

  • 数据流+数据融合(数据流还不支持Postgres(
  • BigQuery数据传输+Fivetran Postgres连接器(这将导致数据传输到第三方处理器。(
  • 数据融合(PostgreSQL不支持复制(

我很好奇,谷歌云平台提供的将PostgreSQL数据库中的数据同步到BgigQuery的功能是否遗漏了任何明显的东西。

干杯

GCP数据流现在支持从PostgreSQL到BigQuery的CDC。不过,目前我们遇到了一些问题。例如,不可能在BigQuery端使用分区表,bcs Datastream会创建这些表,并且我们无法控制此操作。如果我们从PostgreSQL中同步一个非常大的表,然后构建一些ETL,我们将扫描大量数据。

最新更新