在dbt源配置中,我可以将一个源名称映射到多个架构名称吗

  • 本文关键字:映射 dbt 一个 我可以 配置 dbt
  • 更新时间 :
  • 英文 :


我使用dbt来源来描述从一线生产数据库获取的数据。

在我们的设置中,有意义的是让一个source块包含多个物理模式(以及其中的表(。在当前的dbt版本中,这似乎是不可能的。我是不是错过了什么?其他人如何解决这个问题?

在我们的案例中,我们使用Fivetran从不同的生产来源导入表。由于遗留的原因,我们现在在BigQuery数据库中有多个模式,即使它们在逻辑上是相同的";来源";。

再说一遍,这个问题有什么更好的解决方案?

我认为,由于原始表位于不同的模式中,因此必须在不同的源下定义它们。

但是,您可能会利用tags来获得与在同一来源中使用它们类似的好处。

Ex。

sources:
- salesforce
database: fivetran
schema: prod
tags:
- sfdc
- salesforce_legacy
database: fivetran
schema: legacy
tags:
- sfdc

我假设您希望将这些模式映射到单个源,因此可以使用dbt run --select source:salesforce+之类的模型选择逻辑。

标签是帮助实现相同功能的一个选项,如:dbt run --select tag:sfdc+

最新更新