在Hadoop map Reduce中读取矩阵

Question

嗨，我有一个矩阵，想把它传递给Hadoop多节点集群设置中的映射器类，但矩阵不在文件中。有没有办法在不将其写入文件的情况下传递矩阵？

Answer 1

在 JobConf 中，您可以使用 setInputFormat 方法指定输入。InputFormat 有许多类实现其接口。

除了FileInputFormat及其子类之外，还有其他实现InputFormat的类，如DBInputFormat，Parser.Node等。看看你是否可以使用这些。

如果没有一个适合您的需求，请尝试构建您自己的自定义 InputFormat 类来实现相同的目的。