我如何从Azure Devops自动化Databricks笔记本电脑

Question

我的所有代码都在Azure Databricks笔记本中。我想使用azure devops自动执行我的笔记本。

我已将我的Databricks回购与Azure回购链接。创建了一个构建管道来创建我的代码工件。在释放管道中。

我能够将我的代码部署到较低的环境中(这里是我代码所在的Databricks工作区(。但我无法直接从Azure Devops执行/运行笔记本。

如何将代码从较低的环境部署到较高的环境(ProdServer(Databricks工作区。

将代码部署到更高的环境是否与部署到更低的环境相同。只是更改工作区的详细信息。如Databricks令牌、工作区URL等

Answer 1

您需要创建发布管道并将代码推送到GIT repo
有关详细信息，请参阅此Microsoft文档-
https://learn.microsoft.com/en-us/azure/databricks/dev-tools/ci-cd/ci-cd-azure-devops#:~：text=%20release%20pipeline%20部署%20the，Pipeline%20menu%20并%20单击%20Releases。

Answer 2

这个演示演示了如何做到这一点。步骤包括：

• 测试
  • 在Databricks工作区更新签出-例如，您可能有一个单独的测试签出。您可以通过Repos REST API或databricks-cli(databricks repos update命令(执行此操作
  • 使用Nutter库触发测试执行
  • 向DevOps报告测试结果
• Release
  • 如果测试成功，您可以将更新推送到暂存/生产环境-这可以通过DevOps发布管道来完成
  • 您可以使用相同的Repos REST API或databricks-cli在staging/production中更新签出