我们有一个正在更新一组BigQuery表的数据管道。我们要做的是在表元数据中注册更新过程开始的日期,而不是最后一次修改的日期。你知道是否可以在表元数据中添加和更新这类数据吗?
谢谢你的帮助。
由于无法覆盖本地元数据(如last_modification time),因此您可以使用几种路由。
- 在BigQuery中使用标签。提供像
update_start
:timestamp
这样的键值对 - 同样使用Data Catalog将值注册为键值对。