执行器服务中的执行器服务

Question

在文档导入方法中，我处理大量文件。每个文件大小也可以是100mb-200mb。我想异步地使用线程。在for循环中，每个文件都被处理，然后被索引(lucene)。这种操作在实时情况下成本和时间都很浪费。总操作不能停止。

导入方法的一般结构如下:

public void docImport()
{
  ExecutorService executor = Executors.newFixedThreadPool(5);
  for(final File file : fileList)
  {
    //Do some works...
    executor.execute(new Runnable() {
        @Override
        public void run() {
           zipFile(file); //Each zipped file has diff name and same directory.
           indexFile(file); //Each file is indexed same directory.
        }
    });
  }
  executor.shutdown();
}

indexFile方法的一般结构:

public void indexFile()
{
  ExecutorService executor = Executors.newFixedThreadPool(1);
  IndexWriter writer = null;
  Directory dir = .....;
  Analyzer analyzer = new StandardAnalyzer(LUCENE_VERSION);
  IndexWriterConfig iwc = new IndexWriterConfig(LUCENE_VERSION, analyzer);
  iwc.setRAMBufferSizeMB(200);   
  iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND);
  writer = new IndexWriter(dir, iwc);
  Document lucenedoc = new Document();
  lucenedoc.add(..);
  if (writer.getConfig().getOpenMode() == IndexWriterConfig.OpenMode.CREATE) {
    writer.addDocument(lucenedoc);
  } else {
    writer.updateDocument(new Term(PATH, innerPath), lucenedoc);
  }
  executor.shutdown();
} 

我的问题是:

当docImport方法工作时，5个线程读取文件，每个线程都试图将文件索引到相同的lucene索引文件。所以错误发生了一些间隔:"org.apache.lucene.store。LockObtainFailedException:锁获取超时:NativeFSLock@C:luceneindexwrite.lock"

例如，有时30个文件在100个文件中被索引。

如何解决这个错误?我该如何处理?

Answer 1

当您尝试打开IndexWriter时，如果索引上已经打开了一个写入器，则会出现此错误。

除此之外，打开一个新的IndexWriter是一个非常昂贵的操作。即使你想让它工作(比如同步一个打开，使用然后关闭IndexWriter的块)，这可能会相当慢。

相反，打开一个IndexWriter，保持打开状态，并在每个线程之间共享它。