MongoDB Hadoop连接器流不在运行

Question

我想启动mongodb hadoop流媒体连接器，所以我下载了兼容版本的hadoop（2.2.0）（请参阅https://github.com/mongodb/mongodb/mongo-hadoop/blob/master/readme.md#apache-hadoop-22）

我克隆了git存储库Mongohadoop，更改了构建。

$ cat build.sbt
name := "mongo-hadoop"
organization := "org.mongodb"
hadoopRelease in ThisBuild := "2.2"

然后我启动：

$ ./sbt package
$ ./sbt mongo-hadoop-streaming/assembly
$ cp core/target/mongo-hadoop-core_2.2.0-1.2.0.jar ../hadoop-2.2.0/lib/
$ cp mongo-2.7.3.jar ../hadoop-2.2.0/lib/ # Previously downloaded
$ cd ../hadoop-2.2.0/
$ ./bin/hadoop jar ../mongo-hadoop/streaming/target/mongo-hadoop-streaming-assembly-1.1.0.jar -mapper ...

我得到了：

Exception in thread "main" java.lang.ClassNotFoundException: com.mongodb.hadoop.streaming.MongoStreamJob
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:249)
at org.apache.hadoop.util.RunJar.main(RunJar.java:205)

我不明白为什么，我尝试了几乎每个版本都应该支持流媒体，但我总是会遇到相同的错误！

我准确地说，我在Mac OS X上。谢谢！

Answer 1

实际上是一个错误，它将在即将发布的版本中修复。对该主要类的需求已被删除，但生成的清单不是。您可以通过从流罐中的清单中删除主要级别的条目来调整罐子。如果您在流罐所在的目录中运行下面的脚本，它将为您解决：

#! /bin/sh
M=META-INF/MANIFEST.MF
mkdir tmp
cd tmp
cp ../$1 .
JAR=$1
jar xf ${JAR}
sed -e '/Main-Class/d' ${M} >> ${M}.new 
mv ${M}.new  ${M}
jar cvfm ${JAR} ${M}
mv ${JAR} ..
cd ..
rm -r tmp

它不是超级漂亮，但应该让您陷入困境。我们会尽快将正式的1.2.1发布。这是同时的JIRA票：https：//jira.mongodb.org/browse/hadoop-121