Firebase 事件从 BigQuery 导出



是否有推荐的方法将Firebase事件导出到Google Cloud Storage(例如Parquet格式(? 如果我将数据导出到 BigQuery,将数据持续推送到 GCP 云存储的最佳方式是什么?

原因是我有处理云存储中的镶木地板文件的daraproc工作,我希望我的Firebase数据能够以相同的方式访问。

目前不支持将数据直接从 BigQuery 导出为镶木地板文件。
BigQuery现在支持三种格式,

  • .CSV
  • 阿夫罗
  • 杰伦

您可以选择使用Apache Beam和Google Cloud Dataflow将数据转换为镶木地板文件。使用 ParquetIO 在从 BigQuery 读取数据后转换数据并将其写入云存储。

参考

导出数据(大查询(
https://cloud.google.com/bigquery/docs/exporting-data#export_formats_and_compression_types

镶木地板(阿帕奇光束( https://beam.pache.org/releases/javadoc/2.5.0/org/apache/beam/sdk/io/parquet/ParquetIO.html

最新更新