我有一个由4个不同活动组成的管道。每项活动都是下一项活动的先决条件。也就是说,第一个活动为第二个活动生成输入,第二个为第三个生成输入,等等。我已经将所有的输入和输出文件夹定义为表,在我的管道中,我添加了每个作业的输出作为下一个作业的输入。
我的假设是,每个活动都被执行并生成输出文件夹,然后下一个活动将其作为输入。然而,当我执行管道时,第一个活动成功完成,然而,当执行第二个活动时,看起来第一个活动正在执行,因为第二个行动失败了,错误消息显示第一个活动在执行,但它失败了(因为我没有传递所需的参数)!我是不是在执行活动的过程中遗漏了什么?
我的活动是HDInsight活动。
我来自Oozie的背景,并认为管道是Oozie工作流。
基本上,输出数据表中的可用性配置设置决定了活动何时运行。您可以尝试将作业拆分为单独的管道。我还认为,以这种方式在图中查看和调试整个流程会更容易。
编辑:您可以使用系统变量(WindowsStart等)在管道中链接活动。但我仍然认为,从视觉和调试方面来看,将活动分离到管道更容易。
管道由1-n个活动组成,管道中的每个活动都可以有0-n个输入和1-n个输出。您可以链接管道中的活动,并设置管道活动期,即开始和结束,以执行管道中的各项活动。