我们目前正在使用Stitchdata定期将数据从PostgreSQL实例同步到BigQuery实例。数据用于生成报告。Stitchdata允许使用几个复选框和选项构建管道,而无需编码。
我想知道谷歌云平台是否提供了一个解决方案,允许PostgreSQL数据库(使用GCP托管(同步到BigQuery表。这是为了数据主权和用户数据隐私问题。
我们不想使用federated queries
,因为我们只想将某些列从PostgreSQL导入BigQuery。
我看过:
- 数据流+数据融合(数据流还不支持Postgres(
- BigQuery数据传输+Fivetran Postgres连接器(这将导致数据传输到第三方处理器。(
- 数据融合(PostgreSQL不支持复制(
我很好奇,谷歌云平台提供的将PostgreSQL数据库中的数据同步到BgigQuery的功能是否遗漏了任何明显的东西。
干杯
GCP数据流现在支持从PostgreSQL到BigQuery的CDC。不过,目前我们遇到了一些问题。例如,不可能在BigQuery端使用分区表,bcs Datastream会创建这些表,并且我们无法控制此操作。如果我们从PostgreSQL中同步一个非常大的表,然后构建一些ETL,我们将扫描大量数据。