Databricks Unity目录上的DBT



我一直在考虑在我们的主要(仅(工作区中启用Databricks Unity Catalog,但我担心这可能会对新的三部分对象引用的现有dbt负载产生什么影响。

我从dbt databricks发布说明中看到,您需要>=1.1.1争取团结支持
包含它的片段仅显示在配置文件中设置目录属性。我计划将一些源代码放在dbt生成的对象的单独目录中。

如果可以的话,我甚至可以选择将dbt生成的对象放在单独的目录中
由于在工作空间中打开Unity Catalog是一条单行道,我不想让它摇摆不定,看看会发生什么。

是否有人将dbt与Unity Catalog一起使用,并在项目中使用了大量目录?

如果是的话,有什么问题吗?你如何指定源和特定模型的目录?

问候,

Ashley

在模式中指定两部分对象确实会导致问题,至少在增量模型中是这样,而是指定目录

sql-serverless:
outputs:
dev:
host: ***.cloud.databricks.com
http_path: /sql/1.0/endpoints/***
catalog: hive_metastore
schema: tube_silver_prod
threads: 4
token: ***
type: databricks
target: dev

谢谢Anton,我最终解决了这个问题。在应用到主工作区之前,我创建了一个临时工作区来测试它。catalog属性几乎可以应用于任何可以指定schema属性的地方,而不仅仅是profile.yml。我现在有一个针对多个catalog的dbt项目。这些是在相应模型级别的dbt_project.yml中设置的。

相关内容

  • 没有找到相关文章

最新更新