在Azure函数中调用Databricks Python笔记本

Question

我有一个python Databricks笔记本(pyspark)，它根据通过参数提供给笔记本的输入进行聚合。

1. 可以从Azure功能应用程序运行这个笔记本吗?
2. 我们可以通过Azure函数HTTP触发器将参数传递给笔记本吗?如果是这样，请让我知道方法。
3. 我们可以通过HTTP触发器将数据块输出传递给Azure函数吗?

谢谢。

Answer 1

是的，通过使用Databricks Jobs REST API可以做到这一点。用笔记本开始工作有两种方式:

1. 你在Databricks中创建一个使用你的笔记本的作业，然后你使用run-now REST端点触发一个作业，传递参数。
2. 您使用运行提交REST端点来创建提供完整作业规范的一次性作业。

我个人更喜欢第一个变体，因为它隐藏了Azure功能中的集群配置等内容，因为作业规范是在Databricks上完成的。

在这两种情况下，REST API调用的结果是作业运行ID，然后可以用来检查作业运行的状态，并检索作业的输出。