从Azure数据工厂运行可执行文件时，Azure批处理池中的节点数

Question

我们有一个ADF管道，它运行其他3个管道，这些管道使用相同的Azure批处理池运行相同的可执行文件。大多数情况下，可执行文件都能成功运行。但是，在某些情况下，管道在开始运行可执行文件之前就挂起了。

请注意，所有3个管道都使用相同的Azure批处理池。

• 可执行文件没有任何并行性，那么节点的数量有区别吗？是否应该至少有3个节点？

• 使用同一Azure批处理池的管道是否存在问题？他们应该使用不同的游泳池吗？

感谢

Mehmet

Answer 1

我可能会尝试从我的Batch帽子上回答两个问题：(我希望这能给你一些想法，让你进行一些调试，以深入识别)

• 可执行文件没有任何并行性，那么节点的数量有区别吗？是否应该至少有3个节点？

  • 否，节点数量不限制Batch中的任何并行概念。AFAIK，我不确定从哪里提到了3个节点，但有3个节点的情况下，你的场景能工作吗
  • 错误处理：只要概念代码管理良好，如果BatchException或FailureInfo出现任何异常，则会为用户推送in-BatchErrors。例如。https://learn.microsoft.com/en-us/azure/batch/batch-task-fail-event或https://learn.microsoft.com/en-us/rest/api/batchservice/batch-status-and-error-codes
  • 您始终可以从节点中获取服务日志：https://learn.microsoft.com/en-us/rest/api/batchservice/computenode/uploadbatchservicelogs
  • 当并行任务挂起时，节点的状态是什么

• 使用同一Azure批处理池的管道是否存在问题？他们应该使用不同的游泳池吗？

  • 否，AFAIK。如果你看到了什么具体的情况，我建议你详细描述一下你的场景

由于其代码节点正在尝试运行，我建议设置调试点并检查服务日志以识别用户代码运行行为。

谢谢，