Apache-nifi:如何在使用模板时避免重复

  • 本文关键字:Apache-nifi apache-nifi
  • 更新时间 :
  • 英文 :


我正在使用NiFi在远程Hive上执行一些查询。
由于查询是复杂的,不选择任何东西,我需要使用PutHiveQL处理器,这需要查询作为FlowFile。
为了生成一个查询到一个流文件,我使用GenerateFlowFile后面跟着ReplaceText
集群中有3台主机,查询执行3次。
是否有一种方法可以以简单的方式生成/执行此查询一次?

为了避免重复,我试图使用HashContent,然后是DetectDuplicate,我正面临缓存持久性问题。

如何使用处理器从DistributedMapCacheService中删除条目?
是否有一种方法可以设置存储在DistributedMapCacheService中的每个条目的TTL ?

您可以从处理器的调度选项卡调度GenerateFlowFile处理器,使其仅在"primary-node "上运行。这将导致只有集群中的主节点执行该处理器,因此只执行一个查询。

相关内容

  • 没有找到相关文章

最新更新