我正在使用一个监视服务来监视一个目录,并在新创建的文件上启动逻辑。我最近遇到的一个挑战是,当大量文件需要处理,并且复制到监视目录的速度太快而无法处理时,会触发溢出。
API这样说溢出:
文件系统报告事件的速度可能快于检索或处理事件的速度,并且实现可能对其累积的事件数量施加未指定的限制。如果实现故意丢弃事件,则它会安排键的pollEvents方法返回事件类型为OVERFLOW的元素。
我的问题是,如何在不丢失任何需要处理的事件的情况下正确处理溢出?
我的watchservice代码看起来像:
Path myDir = Paths.get(srcDir);
try(WatchService watcher = myDir.getFileSystem().newWatchService()){
myDir.register(watcher, ENTRY_CREATE,ENTRY_MODIFY);
int x = 0;
for(;;){
x++;
WatchKey watchKey = watcher.take();
LOGGER.debug("Event # {}",x);
List<WatchEvent<?>> events = watchKey.pollEvents();
LOGGER.info("Events Size {}",events.size());
for (WatchEvent event : events) {
if(event.kind() == OVERFLOW){
LOGGER.error("The Maximum watchService events has been reached!");
System.exit(1); //I exit so I know there is a problem - but how should I handle this?
}
if (event.kind() == ENTRY_CREATE) {
LOGGER.info("File created: " + event.context().toString());
LOGGER.info("Beginning Processing:" +event.context().toString());
...business logic here...
}
}
watchKey.reset();
}
...
我在实践中从未见过溢出事件。它的意思是通知你,你将需要重新处理你正在观看的任何目录。您不需要退出程序,只需使用单线程File.list()调用对目录进行爬网即可。我在下面简要介绍了我如何处理它。此代码。。。
1) 记录问题
2) 设置一个标志以触发对目录中所有文件进行爬网的目录重新处理
3) 跳过此WatchEvent 的其余处理
// log overflow events and trigger reprocess later.
if (kind == OVERFLOW)
{
logger.warn("File listener recieved an overflow event. You should probably check into this");
overflowTriggeredFlag = true;
continue;
}