我有关于使用线程和 C# 中最快的方式从谷歌数据存储下载 1.5 GB 数据的问题

Question

我有 1.5Gb 的 Google 数据存储数据(大约 800000 个实体(，下载整个数据大约需要 4000 秒。

1(有可能让它变得快速吗？

2( 我们可以在请求谷歌数据存储的客户端 API 时使用">接受编码：gzip"压缩数据吗？

1(我尝试过使用RunQueryLazly，但它将在300个实体/秒内批量，但下载整个数据需要2666秒，但速度并不快。

Query queryString = new Query(kindname);
var data = _db.RunQueryLazily(queryString);
foreach (Entity entity in data)
{
....
store in inner class model
....
}

输出结果将是大型数据列表。

Answer 1

1(如果您希望更快地获取所有数据，则应考虑使用Cloud Dataflow并行化查询。 用于从云数据存储读取的数据流连接器适用于 python 和 java。 内置连接器列表位于 https://beam.apache.org/documentation/io/built-in/。

2(如果您的请求包含"接受编码：gzip"，则响应应该已经被压缩。