将数据从云SQL postgres复制到bigQuery



我正在寻找从云SQL(postgres(到bigQuery的流式数据库更改的推荐方式?我看到CDC流媒体似乎不适用于postgres,有人知道这个功能的时间表吗?

非常感谢你的帮助。

乔纳森。

使用Datastream for BigQuery,您现在可以将操作数据库中的数据和架构更新直接复制到BigQuery中。

Datastream以最小的延迟将MySQL、PostgreSQL、AlloyDB和Oracle数据库中的每一项更改(插入、更新和删除(读取并传递到BigQuery中。源数据库可以在本地、谷歌云服务(如Cloud SQL或Bare Metal Solution for Oracle(上托管,也可以在任何云上的任何其他地方托管。

https://cloud.google.com/datastream-for-bigquery

您必须创建一个ETL过程。这将允许您自动将数据从Postgres转换为BigQuery。您可以使用多种方法来实现这一点,但我将向您指出我已经实现的两种主要方法:

方法1: 手动设置ETL过程:

使用开源工具创建ETL。。。此方法涉及使用COPY命令从PostgreSQL表和标准文件系统文件迁移数据。它可以用作带有SQL函数或PL/pgSQL过程的普通SQL语句,这为以完全转储或增量方式提取数据提供了很大的灵活性。你需要知道这是一个耗时的过程,需要你投资于工程带宽!此外,您可以尝试不同的技术堆栈来实现上述功能,我推荐了一个Java Spring Data Flow

方法2: 使用数据流

您可以使用GCP的DataFlow自动化ETL过程,而无需编写自己的解决方案。当然,速度更快,成本也更高。

DataFlow是统一的流和批处理数据处理无服务器、快速且经济高效。

在此处查看更多详细信息并稍后了解同时检查此

相关内容

  • 没有找到相关文章