使用Cloud Shell终端将Firestore数据库数据复制到Bigquery

Question

有人知道我如何使用云外壳终端手动将数据从Firestore数据库复制/传输到Bigquery吗？

我以前也这样做过，但找不到我使用的文档/视频。我发现很多声明，一旦Bigquery连接到Firebase，它应该是自动的，但我的不是。

当我在Cloud Shell终端中运行代码从Firebase中提取数据时，集合被作为表复制到Bigquery数据集中。创建了两个表；raw_ latest"；以及"；raw_ changelog"；已创建。

我现在不知道如何转移另一个收藏。我特别需要从Firestore数据库中的子集合传输数据。

Answer 1

1. 您现在可以使用Firebase扩展。要导入您需要的所有以前的数据首先安装扩展，因为在执行时所有的写入操作未安装扩展的先导出操作将丢失。

   请参阅：https://firebase.google.com/products/extensions/firestore-bigquery-export

2. Firestore允许使用GCS将数据导入/导出到BigQuery水桶数据被导出到云存储存储桶，并从在那里它可以被导入到大查询中
   相同的gcloud命令是：

导出数据：

gcloud beta firestore export --collection-ids=users gs://my bucket/users

将备份加载到bq:

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata

3. 以下是一些可能有用的链接：

• https://firebase.google.com/docs/firestore/manage-data/export-import
• https://cloud.google.com/bigquery/docs/loading-data-cloud-datastore
• https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md