有没有一种方法可以根据列条件安排从bigquery表中删除行?类似于每天都要安排运行的作业。
例如,假设我在表中有一个名为creation_date的列。当creation_date小于当前日期减去一周(creation_date < current date - 7
(时,我需要删除记录。我需要该作业每天在指定的时间运行,并根据创建日期条件删除记录。
如果没有任何内置的调度程序操作,你能建议一些可用的选项吗?
BigQuery本身中有几个简单的选项可以使用。
最简单的可能是定时查询。这将只是在时间表上执行一个命令。您可以执行DELETE
语句或其他方法。
此外,您还可以设置表或分区的过期时间。这一次需要更多的跑腿工作,但会取得类似的结果。根据您的描述,这可能是您想要设置的分区过期。