使用Azure数据工厂将HTTP端点的数据加载到Azure数据湖中

Question

我正在尝试使用Azure Services构建所谓的"现代数据仓库"。

第一步是将其本机原始格式的所有数据收集到Azure Data Lake商店中。对于某些数据源，我们别无选择，只能使用API消费数据。搜索时没有太多信息，因此我要问

是否可以在我的管道中定义2个网络活动，以处理以下方案？

1. Web1活动获取从C＃（Azure函数）生成的API URL。它以JSON格式返回数据，并将其保存到Web1.Output-这很好。
2. Web2活动消耗Web1.Output并将其保存到Azure Data Lake中，作为普通TXT文件（put或post） - 这是需要的。

上面的方案是可以通过使用复制活动来实现的，但是我无法传递Azure函数生成的动态URL。如何将JSON输出保存到ADL？还有其他方法吗？

谢谢！

Answer 1

由于您将blob存储用作中介，并希望在创建时消耗斑点，因此您可以利用事件触发器。您可以设置事件触发器以运行包含Web2活动的管道。当Web1活动完成（单独的管道）时，它将开始。

通过将两个活动分为单独的管道，工作流程变得异步。这意味着您无需等待两个活动完成之前完成下一个URL。还有许多其他好处。