我正在编写一个计划的联合查询来每天加载我的BiqQuery表。BigQuery 表加载策略是"覆盖"。我的源代码是一个Cloud SQL数据库(mysql实例(。
我想知道从长远来看，从性能和成本优化的角度来看，加载我的 BigQuery 表的正确方法是什么？我应该每天使用源数据覆盖我的 BigQuery 表，还是应该使用联接在我的联合查询本身中构建一个逻辑，以仅检测源中的新添加内容，然后在每日计划运行期间将它们添加到我的 BigQuery 表中？
你的第二个想法是要走的路。
我使用联接在联合查询本身中构建逻辑，以检测源中的新添加内容，然后将它们添加到我的 BigQuery 表中
BigQuery 需要读取/写入的数据量越少，成本就越低。
这种方法通常称为增量