使用Synapse在Azure虚拟机上执行python代码



我需要关于如何在Azure Synapse中创建一个管道的建议,该管道每周执行/自动执行以下步骤一次:

  1. 访问/连接Azure虚拟机
  2. 在python中查找并运行代码

总体目标是:对于blob存储中保存的每个新文件,管道开始运行、访问VM并执行代码。

我有点困惑,是应该使用逻辑应用程序还是Azure自动化。欢迎提出任何想法。

您实际上可以直接在Synapse Notebook中创建Python脚本,并访问blob存储中的文件。您还可以根据blob存储中的任何事件,使用Synapse管道触发Notebook。选中在Azure Synapse Analytics中创建、开发和维护Synapse笔记本。

当您使用SQL池时,synapse是很好的。如果你只想处理blob中的文件,请选择Azure数据工厂,它为你提供了五个更好的选择,比如根据blob存储中的事件触发管道。您可以在ADF中使用自定义活动运行python脚本。

而且,您可以在ADF中为blob存储中的任何事件运行基于事件的触发器。检查https://learn.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger?tabs=data-工厂

最新更新