我有一个DLL,它每隔4小时从IP摄像机下载图像。
我们的目标是将下载的文件存储在 AZURE DATA LAKE STORE 中,比如说
/sample/ImageIPCam1/Image1.jpg
/sample/ImageIPCam1/Image2.jpg
/sample/ImageIPCam1/Image3.jpg
下载后,我们需要调用认知API(FACE API)来检查这三个或n个图像,然后选择唯一的图像并将它们存储到另一个文件夹中 说
/Output/CustImage/Image1.jpg
/Output/CustImage/Image3.jpg
就像上面的结果一样,清除了 Image2.jpg 是暂存文件夹中的重复。
**到目前为止 实施 ** 我们尝试使用 .net sdk 的正确自定义代码来调用人脸 API 并在 ADLS 中移动图像,但在与 USQL 集成时失败,因为我知道它不允许参考问题
需要问题/建议:
- 我们应该在 Azure 中关注哪些服务来构建此设置?
- 我们如何自动化这个自定义的.NET类库?
- 这在 Azure 数据工厂中是否可能,如果有任何情况,请表示感谢 研究可以推荐吗?
注意我们的目标是 ADLS 中的存储,因为使用此映像我们将存储 在ALDA中创建的表中的一些详细信息,此后需要使用USQL的电源来生成我们在POWERBIEmbedded中的报告。
所以回答你的问题...
在构建此设置时,我们应该在 Azure 中关注哪些服务?
坚持使用您已经建议的服务。具有认知程序集的 Azure 数据湖非常适合使用 U-SQL。我已经在语言的演示中使用了几次。如果你有错误,请在此处粘贴另一个问题,但带有 U-SQL 标记。它会得到答案。
我们如何自动化这个自定义的.NET类库?
在 Azure 数据工厂中创建一个自定义活动,该活动只是一个继承的 .Net 类,其中包含 ADF 查找的执行方法。ADF 会将 DLL 传递给 Azure 批处理服务,其中代码将使用 VM 的计算池实际执行。
查看这篇有关在 ADF 中创建自定义活动的博客文章:https://www.purplefrogsystems.com/paul/2016/11/creating-azure-data-factory-custom-activities/
这在 Azure 数据工厂中是否可行,如果可以参考任何案例研究,请表示感谢?
是的,这当然是可能的。我为客户创建了与你描述的非常相似的数据工厂解决方案。我们有一个案例研究准备发布待定的项目标志。很高兴私下讨论。
还有几点需要注意。
- 使用 U-SQL 切碎图像并将对象标记输出到 CSV 或任何将 Beta Power BI 连接器连接到 ADL 存储所需的内容后。目前没有用于 ADL 分析表的 Power BI 连接器。希望有。我很久以前就把这个反馈给Microsoft了。
- 需要在上下文中创建服务主体 Azure 活动目录,允许自定义活动类 针对数据湖存储进行身份验证。
- ADF 使用的自定义活动的二进制文件需要存储在 Azure Blob 存储中。容器将在 JSON 活动中称为包链接服务。
例如:
"activities": [
{
"type": "DotNetActivity",
"typeProperties": {
"assemblyName": "CustomActivites.dll",
"entryPoint": "ImageHandler.GetImages",
"packageLinkedService": "BlobStore", // <<< here
"packageFile": "CustomActivites.zip",
"extendedProperties": {
//if required
}
}
希望这有帮助
祝你好运!如果需要,很乐意提供帮助。