在运行yarn jar命令时更改tmp目录



我正在使用yarn jar命令运行一个MR作业,它在/tmp文件夹中创建了一个临时jar,该临时jar填满了整个磁盘空间。我想将这个jar的路径重定向到其他有更多磁盘空间的文件夹。在这个链接上,我知道我们可以通过为hadoop1.x版本设置属性mapred.local.dir来更改路径。我使用以下命令来运行jar

yarn jar myjar.jar MyClass myyml.yml arg1 -D mapred.local.dir="/grid/1/uie/facts"

上面的参数mapred.local.dir没有更改路径,它仍然在tmp文件夹中创建jar。

找到了不将unjar文件写入/tmp文件夹的破解方法。显然,这不是一种可配置的行为,因此我们可以通过调用生成的类路径来避免使用"hadoop jar"或"yarn jar"(RunJar实用程序(:

java-cp$(hadoop类路径(:my-fat-jar-with-all-dependencies.jar你的.app.主类

1.参考链路

相关内容

  • 没有找到相关文章

最新更新