以两种不同的频率安排Oozie工作流程



我有一个Oozie作业,可以增量处理数据。展望未来,我想每小时运行一次这项工作,以尽快准备结果。但是要回填旧数据,运行顺序作业一次处理一周的数据会更快。

是否可以有一个允许这两种模式的单个coordinator.xml文件,并根据计划作业时临时指定的标志在它们之间进行选择?

coordinator.xml<coordinator-app>标签的参数中,有一个单一的频率,这表明这是不可能的,至少不是以自然的方式。

我认为没有一种简单的方法可以在协调器中执行不同的频率。根据您的描述,在回填发生后,您不需要每周作业。 我想您还必须更改工作流程的参数化才能处理或多或少的数据。

另一方面,您可以过去以所需的频率启动协调器,并在应用程序定义中调整并发性、限制和执行等参数,以便 Oozie 可以通过并行执行工作流来咀嚼积压工作。

我的最终解决方案是以给定的频率(例如,每天(创建工作流,然后创建具有不同频率(每周或每月(的第二个"回填"工作流,将原始工作流作为子工作流调用。

最新更新