如何正确处理观察服务中的pollEvents()溢出类型



我正在使用一个监视服务来监视一个目录,并在新创建的文件上启动逻辑。我最近遇到的一个挑战是,当大量文件需要处理,并且复制到监视目录的速度太快而无法处理时,会触发溢出。

API这样说溢出:

文件系统报告事件的速度可能快于检索或处理事件的速度,并且实现可能对其累积的事件数量施加未指定的限制。如果实现故意丢弃事件,则它会安排键的pollEvents方法返回事件类型为OVERFLOW的元素。

我的问题是,如何在不丢失任何需要处理的事件的情况下正确处理溢出?

我的watchservice代码看起来像:

            Path myDir = Paths.get(srcDir);
            try(WatchService watcher = myDir.getFileSystem().newWatchService()){
                myDir.register(watcher, ENTRY_CREATE,ENTRY_MODIFY);
                int x = 0;
                for(;;){
                    x++;
                    WatchKey watchKey = watcher.take();
                    LOGGER.debug("Event # {}",x);
                    List<WatchEvent<?>> events = watchKey.pollEvents();
                    LOGGER.info("Events Size {}",events.size());
                    for (WatchEvent event : events) {
                        if(event.kind() == OVERFLOW){
                            LOGGER.error("The Maximum watchService events has been reached!");
                            System.exit(1); //I exit so I know there is a problem - but how should I handle this? 
                        }
                        if (event.kind() == ENTRY_CREATE) {
                            LOGGER.info("File created: " + event.context().toString());
                            LOGGER.info("Beginning Processing:" +event.context().toString());
                            ...business logic here...
                        }
                    }
                    watchKey.reset();
                }
          ...

我在实践中从未见过溢出事件。它的意思是通知你,你将需要重新处理你正在观看的任何目录。您不需要退出程序,只需使用单线程File.list()调用对目录进行爬网即可。我在下面简要介绍了我如何处理它。此代码。。。

1) 记录问题

2) 设置一个标志以触发对目录中所有文件进行爬网的目录重新处理

3) 跳过此WatchEvent 的其余处理

// log overflow events and trigger reprocess later.
if (kind == OVERFLOW) 
{
    logger.warn("File listener recieved an overflow event.  You should probably check into this");
    overflowTriggeredFlag = true;
    continue;
}

最新更新