我正在使用NiFi在远程Hive上执行一些查询。
由于查询是复杂的,不选择任何东西,我需要使用PutHiveQL
处理器,这需要查询作为FlowFile。
为了生成一个查询到一个流文件,我使用GenerateFlowFile
后面跟着ReplaceText
。
集群中有3台主机,查询执行3次。
是否有一种方法可以以简单的方式生成/执行此查询一次?
为了避免重复,我试图使用HashContent
,然后是DetectDuplicate
,我正面临缓存持久性问题。
如何使用处理器从DistributedMapCacheService
中删除条目?
是否有一种方法可以设置存储在DistributedMapCacheService
中的每个条目的TTL ?
您可以从处理器的调度选项卡调度GenerateFlowFile处理器,使其仅在"primary-node "上运行。这将导致只有集群中的主节点执行该处理器,因此只执行一个查询。