我们已经开始迁移到在 BigQuery 中使用分区表。我们注意到,在每种情况下,复制分区表比复制非分区表花费的时间要长得多。我确信这有一个很好的理由,例如,因为BigQuery和分区表的底层架构。
例如(复制到同一项目和同一数据集):
非分区表:
- 大小:15GB,87M 行
- 复印时间:3秒
- 任务ID: bquijob_64e11150_15b373c714a
分区表:
- 大小:15GB,87M 行(与上面的表相同,但已分区)
- 复印时间:16分钟
- 任务ID: bquijob_6bae14c3_15b373e623d
是否有技巧/解决方法可以加快在 BigQuery 中复制分区表的速度?
我通过我们的企业支持渠道被告知,它正在按设计工作,并且无法采取任何措施来加快分区表上的复制速度(释义)。
我已经提出了一个功能请求,试图改变这一点,但我怀疑这会是重中之重!
无论如何,为了后代的利益,如果有人想跟踪它,这里是 FR。
https://issuetracker.google.com/issues/37012156