Databricks笔记本命令仅在作为作业调度时跳过



我有一个带有一些代码(Python)的databricks笔记本,用于从dbfs上传文件到SharePoint位置。当单独执行时,笔记本正常运行,文件被上传,但当我尝试使用ADF或Databricks作业调度它时,SharePoint上传的命令被跳过。

其他命令执行正常。我使用O365 REST Python客户端Sharepoint上传。我不确定是否我选择的库导致了这种情况的发生。

有人遇到过类似的事情吗?

从信息来看,不清楚这是否在你的代码中,但也许它会帮助你或其他人与神秘的"Command skipped"在作业模式下运行时出现问题,标题为:

当一个笔记本使用run调用运行另一个笔记本时,就会发生这种情况,例如:%run ./subordinate_notebook那个下属笔记本以dbutils.exit("Some message")

在这种情况下,在从属笔记本退出后,跳过主笔记本中的其余单元格。消息"Command "将显示。

注意,%run的行为不同于dbutuls.notebook.run()

使用result_message = dbutuls.notebook.run(./subordinate_notebook)会避免这个问题。删除dbutils.exit("Some message")也将消除这个问题。

我希望这对你有帮助。

最新更新