Azure数据工厂使用Databricks中的现有群集



我已经在Azure数据工厂创建了一个管道。我创建了一个Databricks工作区,笔记本(带有一些代码(和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有灯都是绿色的。我出版了ADF管道。

当我触发工作时,它说成功。但是数据映中什么都没有发生。在数据库中没有创建工作。笔记本单元中的代码显然未执行。(我知道这是因为代码在当前时间打印。(

有人成功地做到了吗?

要清楚,我希望数据工厂使用现有群集中的群集,而不是创建一个新的。我在管道设置参数中命名了群集。

请参考此教程:在Azure Data Factory中使用Databricks Notebook活动运行Databricks笔记本。

在本教程中,您可以使用Azure门户来创建Azure数据工厂管道,该管道可针对Databricks Jobs Cluster执行数据链机笔记本。它还将Azure Data Factory参数传递到执行期间的Databricks笔记本。

您在本教程中执行以下步骤:

  1. 创建数据工厂。
  2. 创建使用Databricks笔记本活动的管道。
  3. 触发管道运行。
  4. 监视管道运行。

区别之一是您不需要创建new job cluster,选择use an existing cluster

希望这会有所帮助。

已解决。问题是笔记本(包含我的代码(在我的用户笔记本文件夹中。数据工厂无权查看/使用我的笔记本。我在共享文件夹中创建了同一笔记本,一切正常。

我将指出,如果无法看到或使用命名的笔记本,ADF应发出错误/警告。ADF管道验证了罚款,报告了成功的运行,但只是默默失败了。

相关内容

  • 没有找到相关文章

最新更新