我们是否可以将数据砖输出传递给 ADF 作业中的功能

Question

谁能帮我处理Databricks和Azure功能？我正在尝试将数据砖 JSON 输出传递给 ADF 作业中的 azure 函数体，可以吗？如果是，如何？如果不是，还有什么其他选择可以做同样的事情？

Answer 1

在笔记本中，您可以使用：

dbutils.notebook.exit(myReturnValueGoesHere)(如前所述(

然后在 ADF 中，JSON 是一个位于 output.runOutput 上的对象，所以@activity('RunNotebookActivityName').output.runOutput .

如果您返回：

dbutils.notebook.exit('{"hello": {"some": {"object": "value"}}}')

您可以使用以下命令在 ADF 中读取：

@activity('RunNotebookActivityName').output.runOutput.hello.some.object

酷嘿？

有关您可以执行的操作的完整列表，请参阅：

https://the.agilesql.club/2020/02/passing-status-messages-and-results-back-from-databricks-to-adf/

艾德

Answer 2

在 Azure Databricks 中，有一种方法可以在退出时返回值。 dbutils.notebook.exit(myReturnValueGoesHere)

在 Azure 数据工厂 V2 中，DatabricksNotebook 活动输出包含 3 个字段的 JSON："runPageUrl" ，用于查看运行输出的 URL。"有效集成运行时"，代码正在执行的地方"执行持续时间">

如果使用上述 dbutils 调用，则输出 JSON 中将出现第四个字段"runOutput" ，其中显示 "myReturnValueGoesHere"。

如果不使用上述 dbutils 调用，则可以从 runPageURL 中抓取信息。