我可以在没有作业或笔记本的情况下在Azure数据工厂中简单地启动一个databricks集群吗? &g



我从ADF开始一个Databricks笔记本来做一些预处理任务。这个笔记本的集群通常不运行,只有在ADF管道也运行时才应该运行。

但是计算集群需要几分钟才能启动,这当然会减慢管道的执行速度。

我现在的问题是,如果有任何可能性,在ADF管道的早期阶段触发集群,因此它已经在后台启动,而ADF管道的早期阶段仍在运行。这样,我可以加快整个流程。

我已经搜索了databricks菜单和ADF菜单和工具栏,但没有找到解决方案。

谢谢你的帮助!

我想有一个选项叫做Existing Interactive Pool.更多信息请参考此视频:https://www.youtube.com/watch?v=VZggcUdIO14.

使用现有的交互池我认为集群池中应该有一些集群

有关集群池的信息,请参阅此链接:https://learn.microsoft.com/en-us/azure/databricks/clusters/instance-pools/create?source=recommendations

我们可以使用集群池。Azure Databricks池通过维护一组空闲的、随时可用的实例来减少集群启动和自动伸缩时间。当集群附加到池时,使用池的空闲实例创建集群节点。如果池中没有空闲实例,则通过从实例提供程序分配一个新实例来扩展池,以容纳集群的请求。当一个集群释放一个实例时,它返回到池中,可供另一个集群使用。只有连接到池的集群才能使用该池的空闲实例。你可以查看link

相关内容

最新更新