如何有效地将BigQuery表迁移到On Prem Postgres

Question

我需要将表从BigQuery迁移到预处理Postgres数据库。

我如何才能有效地做到这一点？

即将推出的一些想法

1. 我将使用Google API从表中导出数据
2. 将其存储在本地
3. 最后，导入到Postgres

但我不确定对于TB中的大量数据是否可以做到这一点。此外，我如何将此过程自动化？我可以用詹金斯吗？

Answer 1

从BigQuery导出数据、存储数据并将其导入PostgreSQL是一种很好的方法。以下是您可以考虑的另外两种选择：

1( BigQuery有一个PostgreSQL包装器，可以直接从BigQuery进行查询。根据您的情况，这可能是传输数据的最简单方法；不过，对于TB来说，这可能不是最好的方法。这个建议是@David在这个SO问题中提出的。

2( 使用数据流。您可以使用ApacheBeam创建一个ETL过程来进行传输。看看这个如何将数据从BigQuery传输到CloudSQL。您需要将其适应本地PostgreSQL，但这个想法仍然存在。

下面是另一个SO的答案，它提供了关于这种方法的更多上下文。