2020-11-26 17:47:55错误OctetStreamMetadataHandler:503-否方案的FileSystem:文件java.io.io异常:没有的FileSystem方案:文件网址:org.apache.hoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2421(网址:org.apache.hadop.fs.FileSystem.createFileSystem(FileSystem.java:2428(网址:org.apache.hoop.fs.FileSystem.access$200(FileSystem.java:88(网址:org.apache.hoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2467(网址:org.apache.hoop.fs.FileSystem$Cache.get(FileSystem.java:2449(网址:org.apache.hoop.fs.FileSystem.get(FileSystem.java:367(网址:org.apache.hoop.fs.FileSystem.get(FileSystem.java:166(网址:org.apache.hoop.fs.FileSystem.get(FileSystem.java:351(网址:org.apache.hoop.fs.Path.getFileSystem(Path.java:287(网址:org.apache.orc.impl.ReaderImpl.(ReaderImpl.java:342(网址:org.apache.orc.OrcFile.createReader(OrcFile.java:342(网址:com.alation.azure.data.lake.metadata.OctetStreamMetadataHandler.scanORCMetadata(OctetStreamMetadataHandler.java:484(网址:com.alation.azure.data.lake.metadata.OctetStreamMetadataHandler.getSchema(OctetStreamMetadataHandler.java:748(网址:com.alation.azure.data.lake.main.AzureFileIndexer.lambda$processAzureFiles$0(AzureFileIndexer.java:199(位于java.base/java.util.stream.ForEachOps$ForEachOp$OfRef.accept(ForEachOperation.java:184(位于java.base/java.util.ArrayList$ArrayListSpliterator.forEachRemaining(ArrayList.java:1494(位于java.base/java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:484(位于java.base/java.util.stream.ForEachOps$ForEachTask.compute(ForEachOperation.java:291(位于java.base/java.util.concurrent.CountedCompleter.exec(CountedCompleter.java:747(位于java.base/java.util.concurrent.FukJoinTask.doExec(ForkJoinTask.java:283(位于java.base/java.util.concurrent.FukJoinPool.runWorker(ForkJoinPool.java:1603(位于java.base/java.util.concurrent.FukJoinWorkerThread.run(ForkJoinWorker线程.java:175(
Hadoop通常在服务器上运行,可以完全访问文件系统。
如果您打算从要索引的浏览器UI中POST数据,也许您的Spring Boot web应用程序可以使用Spring Stream将数据写入Rabbit MQ。您可以向队列写入一个侦听器,该侦听器将向Hadoop服务器文件系统写入一个文件,并以此方式对数据进行索引。
问题是您的web应用程序无法访问文件系统。它可能在容器中运行,而无法访问磁盘。
为什么要将SpringBoot应用程序部署为WAR文件?您不需要Java EE应用程序服务器。最好将其部署为一个胖的、可执行的JAR文件。这样您只需要一个Java JVM。
不要将UI与Spring Boot控制器捆绑在一起。让它成为一个独立的微型服务。将UI与服务分开。