我正在尝试将文件从此站点 http://nemweb.com.au/Reports/Current/Daily_Reports/复制到我的 Azure Blob 存储帐户
我的第一个选择是尝试 Azure 数据工厂,但它最终复制了 html,这显然不是我要找的,而是里面的 zip 文件
我的问题是ADF是正确的工具,或者我应该看看别的东西,任何方向都会非常感激。
目前我正在使用Powerquery来读取数据,这很棒,不幸的是,PowerBI服务需要一个网关来刷新,这在我的情况下不是很实用,因此,我正在寻找Microsoft数据堆栈中的其他选项
编辑:我正在采用python路线,但很高兴听到任何替代方案
我找到了解决方案,Python,它与azure blob有很好的集成,下载文件的代码非常简单,现在我需要弄清楚哪个是在云上运行python脚本的最佳服务
import re
import urllib.request
from urllib.request import urlopen
url = "http://nemweb.com.au/Reports/Current/Daily_Reports/"
result = urlopen(url).read().decode('utf-8')
pattern = re.compile(r'[w.]*.zip')
filelist = pattern.findall(result )
for x in filelist:
urllib.request.urlretrieve(url+x, x)