将WEKA-jar文件存储在HDFS上，并从mapreduce调用WEKA方法

Question

我们可以将weka.jar存储在hdfs上，然后从mapper和reducer类调用它的方法吗？

假设我有大量的实例存储在一个文件中，我想使用WEKA对它们进行集群。我可以读取这些实例，然后从我的map reduce程序中调用weka的SVM方法吗？

Answer 1

您不必手动将其存储在HDFS上。相反，当您运行作业时，您可以使用-libjars jar1，jar2…选项，以便将所需的jar自动分发给所有映射程序，并将这些jar自动包含在所有映射程序的类路径中。

另一个选项（即使第一个代表标准）是将WEKA-jar包含在hadoop安装的lib-dir中。