基于Oozie触发器文件的协调器.触发文件不是来自每小时文件夹



>我正在尝试创建一个带有依赖文件 - 触发器文件的协调器。我的协调员的频率是5分钟。超时为 4 分钟。

我的目标是,仅当创建了指定的触发器文件时,协调器才应执行工作流。如果未创建触发器文件,协调器应等到文件创建完毕,并在第 4 分钟结束时超时。工作流由协调器触发后,工作流将删除触发器文件。每当源数据更新时,触发器文件就会出现,因此我们必须再次运行工作流。

触发器文件可能一天出现多次,因此我将协调器频率设置为 5 分钟。我尝试使用以下代码:

<coordinator-app name="transform_data_if_exists_coord" frequency="${freqMin}" start="${startDate}" end="${endDate}" timezone="${timeZone}" xmlns="uri:oozie:coordinator:0.1">
    <controls>
        <timeout>${timeOutMin}</timeout>
        <concurrency>${concurrencyCount}</concurrency>
    </controls>
    <datasets>
        <dataset name="input1" frequency="${coord:minutes(${freqMin})}" initial-instance="${startDate}" timezone="${timeZone}">
        <uri-template>maprfs:////idn/home/deploy/inputdata/file</uri-template>
        <done-flag>trigger</done-flag>
        </dataset>
   </datasets>
   <action>
      <workflow>
         <app-path>/idn/home/deploy/triggerEmail/triggerEmail_wf.xml</app-path>
      </workflow>
   </action>
</coordinator-app>

具有以下属性:

startDate=2016-01-26T18:20Z
endDate=2017-01-17T06:00Z
timeZone=UTC
freqMin=5
timeOutMin=4
concurrencyCount=1

您需要添加输入事件和属性 WaitForThisInputData in action

    <input-events>
            <data-in name="check_for_input" dataset="input1">
            <instance>${startTime2}</instance>
            </data-in>
     </input-events>
  <action>
      <workflow>
         <app-path>/idn/home/deploy/triggerEmail/triggerEmail_wf.xml</app-path>
<configuration>
                <property><name>WaitForThisInputData</name><value>${coord:dataIn('check_for_input')}</value></property>
</configuration>
      </workflow>
   </action

>

尽管我的工作流程仅在存在触发器文件时才被启动。有时,双重工作流会使用相同的父协调器实例启动。即假设如果协调员在协调员的第 25 个实例启动工作流,则工作流 ID 包含父级 as0001212-xxxxxxx-oozie-mapr-C@25

但是我看到两个工作流使用相同的父协调器实例启动,这并不理想。这两个作业在同一时间戳启动。我是否缺少财产。我已将协调器的并发性设置为 1。当触发器文件在小时数出现明显间隔后出现时,会出现此问题。

相关内容

  • 没有找到相关文章

最新更新