Oozie协调器-基于文件事件的触发器-多次触发



我试图理解为什么一个基于oozie 4.2的协调器作业应该等待数据集多次触发。我的协调员工作看起来像

<coordinator-app name="ConfirmDataMasterTrigger" 
             frequency="${frequencyMins}"
             start="${startTime}" 
             end="${endTime}" 
             timezone="${timeZoneDef}"
             xmlns="uri:oozie:coordinator:0.4"
             xmlns:sla="uri:oozie:sla:0.2">
    <controls>
            <timeout>${TimeOutMins}</timeout>
            <concurrency>${Concurrency}</concurrency>
            <execution>${Execution}</execution>
    </controls> 
     <datasets> 
            <dataset name="inputDS" 
                     frequency="${coord:days(1)}" 
                     initial-instance="${startTime}" 
                     timezone="${timeZoneDef}">
                    <uri-template>${triggerFileDir}</uri-template>
                    <done-flag></done-flag>
            </dataset>
    </datasets>
    <input-events>
            <data-in name="ConfirmDataMasterTrigInput" 
                     dataset="inputDS">
                    <instance>${coord:current(0)}</instance>
            </data-in>
    </input-events>
    <action>
            <workflow>
                    <app-path>${workflowAppPath}</app-path>
                    <configuration>
                      <property>
                        <name>SaveDateString</name>
                        <value>${coord:formatTime(coord:actualTime(),"-yyyyMMdd-HHmmss")}</value>
                      </property>
                      <property>
                        <name>WaitForThisInputData</name>
                        <value>${coord:dataIn('ConfirmDataMasterTrigInput')}</value>
                      </property>
                    </configuration>
            </workflow>
    </action>

有一个类似的属性文件

nameNode=hdfs://hc1m1.nec.co.nz:8020
jobTracker=hc1r1m2.nec.co.nz:8050
hdfsUser=oozie
wfProject=ConfirmDataMaster
oozie.libpath=${nameNode}/user/oozie/share/lib
oozie.use.system.libpath=true
oozie.wf.rerun.failnodes=true
moveFile=ConfirmDataMaster_edit.csv
sourceDir=${nameNode}/mule/sheets/input/ConfirmDataMaster/
targetDir=/mule/sheets/store/
sourceFile=${sourceDir}${moveFile}
targetFile=${targetDir}${moveFile}
frequencyMins=10
startTime=2016-07-31T12:00Z
endTime=2099-01-01T12:00Z
timeZoneDef=GMT+12:00
TimeOutMins=10
Concurrency=1
Execution=FIFO
triggerDir=trigger/
triggerFileDir=${sourceDir}${triggerDir}
doneFlag=trigger.dat
workflowAppPath=${nameNode}/user/${hdfsUser}/wf/${wfProject}
oozie.coord.application.path=${nameNode}/user/${hdfsUser}/wf/${wfProject}

我在让工作流由协调器给定了一个基于数据集的事件。我所看到的是,隐藏的工作流程不断被触发。有人能告诉我应该做的改变或我的错误吗。显然,我的工作流程会清理并删除触发器路径。提前谢谢。

我会回答我自己的问题,因为我已经找到了解决方案,而且确实有点明显。我只是有点困惑。点火频率由协调器和数据集频率以及触发目录和文件控制。如果您不想要一个触发器文件,那么将done标志留空。如果未添加,则默认标志文件为_SUCCESS。

因此,如果触发器可用,工作流将以指定的频率启动。因此,我已将我的跳线和数据集频率更改为30(分钟)。作为最后一项任务,我的工作流删除了触发器。

相关内容

  • 没有找到相关文章

最新更新