Hadoop数据连接包

Question

我是hadoop的新手，同时探索hadoop数据连接包，我得到以下提到的命令:

hadoop jar /home/biadmin/DataJoin.jar com.datajoin.DataJoin 
         /user/biadmin/Datajoin/customers.txt 
         /user/biadmin/Datajoin/orders.txt 
         /user/biadmin/Datajoin/outpu1

我得到以下错误异常线程main

java.lang.NoClassDefFoundError: org.apache.hadoop.contrib.utils.join.DataJoinMapperBase
    at java.lang.ClassLoader.defineClassImpl(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:364)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:154)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:777)
    at java.net.URLClassLoader.access$400(URLClassLoader.java:96)

Answer 1

您需要在运行作业时将 hadoop-datajoin jar添加到类路径中。使用-libjars选项将额外的jar添加到类路径中。你的命令是这样。提供jar目录的正确路径，否则您可以下载jar。

hadoop jar /home/biadmin/DataJoin.jar com.datajoin.DataJoin 
     -libjars <path>/hadoop-datajoin.jar
     /user/biadmin/Datajoin/customers.txt 
     /user/biadmin/Datajoin/orders.txt 
     /user/biadmin/Datajoin/outpu1