在 Azure 数据工厂中的单个 HDinsight 群集上运行多个管道和/或作业

Question

使用

HDInsight 群集在 Azure 数据工厂中运行自定义活动的管道的建议方法是什么？是否可以将单个 HDInsght 群集用于多个 Azure 数据工厂作业以及同时运行的多个管道？

Answer 1

如果指的是使用 Azure 数据工厂运行自定义 .NET 活动，则只需将其标记为自定义活动并链接到 Blob 存储中的 .NET dll zip 文件即可。使用 Azure Batch 运行也是一种选择，因为 .NET 运行良好，Azure Batch 更便宜（如果自定义活动是拥有 HDInsight 群集的唯一原因）。

可以使用单个 HDInsight 群集运行多个数据工厂作业，包括多个并行管道。但是，请记住，根据您的并行作业（数量、大小等）和集群的配置，您可能会使集群的资源过载。