在oozie中捕获sqoop输出



我有一个Oozie工作流,应该每X分钟运行一次。它从HBase表中读取一个值。在此之后,基于在前一步骤中从HBase读取的值运行Sqoop操作(增量)。为了使工作流工作,我需要以某种方式从Sqoop Oozie操作中捕获新的——最后一个值,并将其写回HBase,下次运行工作流时再次读取。。。等等

我该怎么做,或者有更好的方法吗?

乔纳斯

我认为博客http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html可能会给你一些提示。

基本上,它将startindex和chunksize保存在job.properties中,startindex用于Sqoop作业中的where条件,然后在Sqoop作业之后通过shell脚本更改startindex。

最新更新