从存储帐户创建Azure数据块笔记本



我们在blob中的Azure存储帐户中存储了python脚本。我们想在azure databricks集群中部署/创建这个python脚本(作为笔记本(,这样以后我们就可以运行azure数据工厂管道,管道可以执行在databricks中创建/部署的笔记本。

我们只想在blob中可用时创建/部署此脚本一次。

我试过在网上搜索,但找不到合适的解决方案。

是否可以从存储帐户部署/创建笔记本?如果是,如何?

谢谢。

您可以使用URL将笔记本导入Databricks,但我希望您不会将该笔记本公开。

另一种解决方案是将azcopy工具与Databricks CLI(workspace子命令(结合使用。类似这样的东西:

azcopy cp  "https://[account].blob.core.windows.net/[container]/[path/to/script.py" .
databricks workspace import -l PYTHON script.py '<location_on_databricks>'

你也可以完全在笔记本电脑中完成,将dbutils.fs.cp命令与Databricks的工作区REST API相结合,但这可能会更复杂,因为你需要获得个人访问令牌、base64笔记本电脑等

我们可以使用databricks API 2.0在databricks集群中导入python脚本。

以下是API的定义:https://learn.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/workspace#--进口

相关内容

  • 没有找到相关文章

最新更新