以编程方式将 Firestore 备份导入 BigQuery



我在GCS中有一个名为:all_namespaces_kind_Rates.export_metadata的Firestore备份文件。我已经设置了一个 cron 作业以每 24 小时更新一次此文件。我现在需要的是找到一种方法,以编程方式将此export_metadata文件发送到 BigQuery。BigQuery具有计划从GCS传输数据的功能,但仅适用于以下格式的文件:CSV,JSON,AVRO,PARQUET和ORC。如何以编程方式将我的 Firestore 备份文件传输到 BigQuery 中?

如果你的 cron 作业可以访问 bq 命令行工具,你有没有试过:

bq load --source_format=DATASTORE_BACKUP [DATASET].[TABLE] [PATH_TO_SOURCE]

查看有关该命令的更多信息: https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore#loading_cloud_firestore_export_service_data

最新更新