请帮助解决hadoop流的"-file"选项问题(在下面的链接中提到)。只是为了更新,我知道jar已经在那里了,在我尝试hadoop流处理失败的不同类文件之后,我正在尝试这样做,以便确定类文件本身或我使用它的方式是否有问题。如果你需要标准文件,请告诉我。
Hadoop Streaming -file选项在Java类文件中的问题
你不能真的使用-file来发送jar,因为hadoop不支持多个jar(这些jar不是已经在CLASSPATH中),检查流文档:
至少到0.14版本,Hadoop不支持多个jar文件。因此,当指定你自己的自定义类时,你必须将它们与流jar一起打包,并使用自定义jar而不是默认的hadoop流jar。
将多个jar文件添加到CLASSPATH..您可以使用hadoop教程中指定的-libjar选项(在页面上搜索单词"libjar")。