我已经在Azure数据工厂创建了一个管道。我创建了一个Databricks工作区,笔记本(带有一些代码(和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有灯都是绿色的。我出版了ADF管道。
当我触发工作时,它说成功。但是数据映中什么都没有发生。在数据库中没有创建工作。笔记本单元中的代码显然未执行。(我知道这是因为代码在当前时间打印。(
有人成功地做到了吗?
要清楚,我希望数据工厂使用现有群集中的群集,而不是创建一个新的。我在管道设置参数中命名了群集。
请参考此教程:在Azure Data Factory中使用Databricks Notebook活动运行Databricks笔记本。
在本教程中,您可以使用Azure门户来创建Azure数据工厂管道,该管道可针对Databricks Jobs Cluster执行数据链机笔记本。它还将Azure Data Factory参数传递到执行期间的Databricks笔记本。
您在本教程中执行以下步骤:
- 创建数据工厂。
- 创建使用Databricks笔记本活动的管道。
- 触发管道运行。
- 监视管道运行。
区别之一是您不需要创建new job cluster
,选择use an existing cluster
。
希望这会有所帮助。
已解决。问题是笔记本(包含我的代码(在我的用户笔记本文件夹中。数据工厂无权查看/使用我的笔记本。我在共享文件夹中创建了同一笔记本,一切正常。
我将指出,如果无法看到或使用命名的笔记本,ADF应发出错误/警告。ADF管道验证了罚款,报告了成功的运行,但只是默默失败了。