如何将XML Mahout分类器jar添加到Hadoop集群中，因为我不想将该库添加到Hadoop类路径中

Question

我正在使用XMLInputFormat解析xml文件.class该文件存在于mahout-exmaples jar中。 但是在运行地图减少的 jar 文件时，我得到以下错误

错误： java.lang.RuntimeException： java.lang.ClassNotFoundException： Class org.apache.mahout.classifier.bayes.XmlInputFormat 未找到

请让我知道如何在多节点 Hadoop集群上运行时使这些 jar 可用。

Answer 1

将所有驯象示例 JAR 包含在 Hadoopjar 的 "-libjars" 命令行选项中......命令。jar 将放置在分布式缓存中，并可供作业的所有任务尝试使用。更具体地说，您将在本地节点上的一个${mapred.local.dir}/taskTracker/archive/${user.name}/distcache/… subdirectories中找到 JAR。

详情请参阅此链接。