我有一个复杂的文本文件,可以通过Python处理成pandas数据帧。你知道我可以部署这个脚本的哪些Azure服务,以便在文件上传到blob存储时自动触发?
我知道这是一个复杂的问题,但我已经尝试过了,比如只使用Azure函数,将Azure函数与Azure批处理作业一起使用,以及使用Azure数据工厂。
有没有Azure服务可以直接完成这项任务?
复杂的文本文件,可以通过Python 处理成pandas数据帧
您可以使用Azure Databricks预处理复杂的文本文件。
每当文件上传到blob存储时自动触发
在Azure Databricks上装载blob存储。请考虑使用此示例笔记本装载blob存储。
要自动预处理,请在数据工厂中使用databricks笔记本活动。
在数据工厂中,每当在Blob存储中上载新文件时,您可以使用基于事件的触发器来运行databricks笔记本活动。