用户酶
我们有一个本地Hadoop设置,我们将Power BI用作BI可视化工具。我们目前为获取PowerBi的数据所做的工作如下。
- 将数据从本地复制到Azure Blob(我们的本地时间表一旦数据准备就绪,就可以做到这一点( 然后将来自Azure Blob的数据复制到Azure-Datawarehouse/Azure-SQL
- Cube在Azure AAS上的刷新,AAS从Azure Datawarehouse/SQL 中提取数据
要执行STEP2和Step3,我们当前正在使用Azure上运行Web服务器,并且端点被配置为采用几个参数,例如表名称,Azure文件位置,Cube信息等。
示例http请求:
http://azure-web-server-scheduler/copydata?from = blob& to = datawarehouse& frofloc = myblob/data/davety.csv&tover.csv& totable = mydb.mydb.mydb.mytable
在这里,Web服务器从变量(从Fromloc到,Totable(中提取值,然后进行复制活动。我们这样做是因为我们有很多桌子,所有这些都可以重复使用相同的功能。
现在,我们有用例堆积(重试,控制流,电子邮件警报,监视(,我们正在寻找云替代方案,以为我们完成调度工作,我们仍然希望像上面的一个一样,达到HTTP端点。
到目前为止,我们已经检查过的替代方案之一是Azure数据工厂,在其中创建管道以实现上述步骤并使用HTTP端点触发ADF。
问题
- 我们如何从HTTP Post Call中获取参数,并使其作为自定义变量[1],这是管道中需要的,以便我们仍然可以为每个步骤{2,3}编写一个函数,并且该函数可以采用这些参数,我们不想为每个表创建一个ADF。
- 我们如何检测ADF步骤中的故障并在失败期间发送电子邮件警报?
- 除了ADF之外,其他选项还有什么选择?
[1] https://learn.microsoft.com/en-us/azure/data-factory/control-flow-system-variables
您可以通过get metadata actativitivivity触发从斑点到sql dw的复制作业。可以在以下情况下使用: - 验证任何数据的元数据信息 - 当数据准备就绪/可用时触发管道
对于电子邮件通知,您可以使用调用LogicApp的Web活动。请参阅以下略微发送电子邮件通知。