No FileSystem for scheme: null

Question

我正在尝试使用"hadoop -jar"运行jar (maven项目)，我得到错误"No FileSystem for scheme"。我一直在阅读关于stackoverflow的这个错误，似乎问题是在META-INF/services/org.apache.hadoop.fs.FileSystem中。我的是这样的:

org.apache.hadoop.fs.LocalFileSystem
org.apache.hadoop.fs.viewfs.ViewFileSystem
org.apache.hadoop.fs.ftp.FTPFileSystem
org.apache.hadoop.fs.HarFileSystem

HDFS行缺失。这是我的代码的一部分:

public int run(String[] args) throws Exception {   
     Configuration conf=getConf();    conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());       conf.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName()); 
       args = new GenericOptionsParser(conf, args).getRemainingArgs();       
     Job job = Job.getInstance(conf,"Count");
     job.setInputFormatClass(ImageBundleInputFormat.class);
     job.setMapperClass(CountMapper.class);
     job.setReducerClass(CountReducer.class);
     job.setMapOutputKeyClass(IntWritable.class);
     job.setMapOutputValueClass(IntWritable.class);
     job.setOutputKeyClass(IntWritable.class);
     job.setOutputValueClass(Text.class);
     FileInputFormat.setInputPaths(job, new Path(args[0]));
     FileOutputFormat.setOutputPath(job, new Path(args[1]));
     job.addCacheFile(new URI("//path/lbpcascade_frontalcatface.xml"));
     job.setJarByClass(Count.class);
     boolean success = job.waitForCompletion(true);
     return success ? 0 : 1;
   }
public static void main(String[] args) throws Exception {

       ToolRunner.run(new Count(), args);
       System.exit(0);
   }

错误在布尔成功= job.waitForCompletion(true);任何帮助都会很感激。谢谢你！:)

Answer 1

您不需要指定作业中的文件系统实现，除非您不想覆盖某些内容。

你的集群配置文件在哪里?(hdfs-site.xml, core-site.xml等)

确保您的HADOOP_CONF_DIR环境变量指向它们，并且它们已正确配置。

fs.defaultFS属性的配置是什么?

Answer 2

我遇到过类似的问题，并花了很多时间试图通过问题进行调试。就我而言，我在windows上使用spark mlib，代码主要是

sparksess = SparkSession.builder.appName("。"). config("spark.master"、"本地 [*])....

sparksess.creatDataFrame (. .)

解决方案是spark会话构建器中的spark.local.dir和spark.sql.warehouse.dir应该以特定格式指定windows的路径，例如///D:/sparkworkdir对我有用。希望可以节省一些时间