Schedule Query Partition Table Hourly



我有一个时间表查询,每小时运行一次,我想每小时对表进行分区,所以在目标中我提供了这个mytable_{run_time|"%Y%m%d%H"},但这是为我的BigQuery数据集的每次运行创建一个新表,当我将目标更改为mytable_{run_time|"%Y%m%d"}时,它根据日期正确分区数据

如何在大查询中启用小时分区?

您正在做的是与表分片保持一致,您可以这样做,但它不是性能,并且涉及更多的管理。理论上,它的作用类似于分区,但并不相同。当您使用mytable_{run_time|"%Y%m%d"}格式时,您可能会看到的是,您将多个小时插入到同一天中,并且根据您的表定义可能在一天内进行分区。

您需要在创建表时定义分区,如下所示:https://cloud.google.com/bigquery/docs/creating-partitioned-tables create_a_time-unit_column-partitioned_table

最新更新