并行运行同一个Oozie作业多次,每个作业的参数值不同



我想运行一个程序,将给定的输入文件转换为另一种格式。当一个文件被上传到输入表时,oozie调度器应该启动该作业。

对于单个文件,它运行良好;若输入表同时有多个条目,则相同数量的作业应以参数中不同的inputPath并行启动。Oozie工作流以"InputPath"one_answers"OutputPath"为参数。

我该怎么做?

您想要基于事件触发作业。Oozie并不是为此而设计的,它只是基于时间表运行计划的作业(可以选择推迟启动,直到特定文件到达(。

考虑其他选项,例如AirFlow或Luigi。

最新更新