正在级联中删除outputPath




我们通常使用以下代码删除mapreduce中的输出路径

outputPath.getFileSystem(conf).delete(outputPath,true);

我的问题是,我们能在级联中做同样的事情吗?如果是,请建议我执行此操作的步骤。
谢谢:)

如果目的是在下一次运行mapreduce时重用输出目录,则将sink Tap的属性设置为SinkMode.REPLACE。它会删除hdfs输出DIR,并且mapreduced作业在两次重新运行之间不会失败。

Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)

相关内容

  • 没有找到相关文章