如何从DataNode向JobTracker提交MapReduce作业



我有这个疑问,我正在运行一个12节点的集群与独立的NameNode和JobTracker。我可以从JobTracker执行MapReduce作业,但我想从我的10个datanode中的任何一个提交作业给JobTracker。这是可能的,如果是,如何做到这一点?

是,只要hadoop在路径上(在每个节点上),并且集群的配置已经正确地分布到每个数据节点。

事实上,你不一定需要正确地分配配置,你只需要相应地配置jobtracker和hdfs的url(查看-jt-fs的GenericOptionsParser选项)。

关于通用选项的更多信息请参阅本页:http://hadoop.apache.org/docs/r1.0.4/commands_manual.html#Generic+Options

最新更新