同时将大型数据集加载到BigQuery中。表大小超过 170TB。在 BigQuery 中，我们听说每个加载作业的负载限制不超过 15 TB，无论文件压缩是 Avro 、镶木地板等。如果是，那么您能否分享任何解决方法或选项来加载如此大量的数据？
检查配额页面以查找记录的限制：
- https://cloud.google.com/bigquery/quotas
确实有一个">每个加载作业的最大大小 - CSV，JSON，Avro，Parquet和ORC的所有输入文件为15 TB"限制。
但是，您应该能够在多个加载作业中轻松加载 170TB。或者您告诉我们您所拥有的只是一个 170TB 的文件？
如果可以将多个文件中的多个加载作业使用到单个表，则限制为">每天每个表加载作业 — 1,000"。那 s 比问题询问的大小高 2 个数量级。