数据流是否支持自定义触发器或更新触发器延迟



TL:DR;是否可以创建一个只有在设置了某些标志时才会触发的自定义触发器?在我们知道正在发生大型数据事件时,是否可以使用具有巨大延迟的触发器来部署作业,然后在事件完成后使用具有正常延迟或无延迟的触发器对作业进行更新?

以下来自:删除窗口触发器/触发中的重复项

这种情况发生得最有问题(数百万次重复解雇)是在我们对旧数据进行回填时。既然我们知道这是什么时候发生的,我想知道我们是否可以实现一个在设置标志时不会触发的自定义触发器。这有可能吗?或者,我们可以在回填进行时使用包含巨大延迟的触发器来部署作业,然后在完成时使用普通触发器发布更新吗?

Dataflow还不支持自定义触发器,也不支持基于某些单独元数据的触发器。但是,您可以使用Update更改处理时间触发器的频率;只需更改plusDelay()构建器函数的值,然后像往常一样使用--update运行即可。

最新更新