谷歌大查询回填需要很长时间



我是堆栈溢出的新手。我使用谷歌大查询将来自多个来源的数据连接在一起。我已经连接到谷歌广告(使用来自大查询的数据传输(,这很好。但是,当我对旧数据进行回填时,在大查询中需要3天以上的时间才能从180天中获得数据。谷歌建议最多180天。但这需要很长时间。我想在过去的两年里为多个客户(我们是一家代理商(做这件事。我需要在180天内完成这项工作。

有人能解决这么长时间的问题吗?

提前谢谢。

根据文档,BigQuery数据传输服务支持每个回填请求最多180天(正如您所说(,不支持同时进行回填请求[1]。

BigQuery数据传输服务限制传入请求的最大速率,并在每个项目的基础上强制执行适当的配额[2],项目中的其他BigQuery任务可能会限制传输使用的资源量。由传输创建的加载作业包含在BigQuery的加载作业配额中。重要的是要考虑在每个项目中启用多少传输,以防止传输和其他加载作业产生quotaExceeded错误。

如果需要增加传输次数,可以创建其他项目。如果你想加快所有客户的转账速度,你可以把他们分成几个项目,因为这似乎是你要在那里进行的一笔重要的转账。

最新更新