如何从 GAE 数据存储导出 BLOB 类型字段?

Question

所以我想从GAE数据存储导出一些数据，这就是我尝试的方式：

1. 创建要导出的kind的Cloud Datastore备份。
2. 在谷歌大查询中加载备份
3. 从谷歌大查询导出它

一切正常，但有一个问题，Google BigQuery 加载程序在从Cloud Datastore备份加载数据时会忽略Blob类型字段。https://cloud.google.com/bigquery/loading-data-cloud-datastore(

如何导出所有类型的字段(包括 Blob 类型字段(？

Answer 1

根据文档，Blob不能存储在BigQuery中，因为它不是其主要目的，即大数据分析。BigQuery 仅接受此处指定的标准 SQL 数据类型。在任何情况下，根据你的用例和这些 Blob 包含的内容，你可能有几个选项。

由于数据存储的最大行大小为 1MB，而 BigQuery 为 100MB，因此您可以在传输之前转换 Blob。另一方面，您可以使用其他服务(例如Google云存储(将Blob存储在那里，并在数据存储数据库中输入对Cloud Storage中该文件的引用。

我已经在公共问题跟踪器中为此创建了一个功能请求，因此您将能够在那里跟踪其进度。但是，此实现没有 ETA。