Hadoop上的外部/jar文件存储在哪里



假设我写了一个WordCount示例,然后在eclipse项目中包括一个外部jar文件,如MyJar.jar。现在,如果我将整个WordCount项目导出为word.jar文件,然后键入

$> hadoop jar word.jar WordCount input output

我知道作业会执行,word.jar会有一个包含MyJar.jar文件的lib目录。现在,当调用这个jar文件的方法的作业正在运行时,这个jar文件MyJar文件将存储在HDFS的哪里?

bin/hoop脚本实际上将您的work.jar文件解压到本地文件系统上的tmp文件夹中。

Job客户端处理HDFS中作业文件夹的创建,原始jar、所有lib jar和其他作业文件(如Job.xml、分布式缓存文件等)都会上传到该文件夹。

当作业在集群节点上运行时,这些文件会被复制回该节点的本地文件系统上的tmp作业目录。出于效率原因,文件只向下复制一次,而不是针对在该节点上运行的每个映射任务。

相关内容

最新更新