试图从Hadoop URL读取数据，但无法这样做.我得到了错误

Question

ReadFromHadoopURL文件的内容如下:

package com.felix.hadoop.training;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
//  URLCat
public class ReadFromHadoopURL {
  static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
  }
  public static void main(String[] args) throws Exception {
    InputStream in = null;
    try {
      in = new URL(args[0]).openStream();
      IOUtils.copyBytes(in, System.out, 4096, false);
    } finally {
      IOUtils.closeStream(in);
    }
      }
    }

然后我创建了一个jar文件ReadFromHadoopURL.jar。

然后我运行这个命令

hadoop jar /home/training/Pradosh/ReadFromHadoopURL.jar ReadFromHadoopURL hdfs://localhost:54310/my/empfile

我得到这个错误

Exception in thread "main" java.lang.ClassNotFoundException: ReadFromHadoopURL
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:264)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:149)

你能帮我调试一下吗?

Answer 1

您可能只需要用包名完全限定类名。ReadFromHadoopURL应该是com.felix.hadoop.training.ReadFromHadoopURL

hadoop jar /home/training/Pradosh/ReadFromHadoopURL.jar com.felix.hadoop.training.ReadFromHadoopURL hdfs://localhost:54310/my/empfile

Answer 2

要使用hadoop jar命令运行，您必须实现一个包含Map extends Mapper<>类(以及可选的Reduce extends Reducer<>)的类，如规范的WordCount示例所示。

上面的代码看起来像是你在尝试实现一个简单的Java控制台应用程序来管理存储在HDFS中的文件。如果是这种情况，那么你应该这样运行它:

java -cp ./ReadFromHadoopURL.jar ReadFromHadoopURL hdfs://localhost:54310/my/empfile

注意:让所有的Hadoop和Apache依赖从命令行工作可能需要一个扩展的cp/classpath