我们通常使用以下代码删除mapreduce中的输出路径
outputPath.getFileSystem(conf).delete(outputPath,true);
我的问题是,我们能在级联中做同样的事情吗?如果是,请建议我执行此操作的步骤。
谢谢:)
如果目的是在下一次运行mapreduce时重用输出目录,则将sink Tap的属性设置为SinkMode.REPLACE。它会删除hdfs输出DIR,并且mapreduced作业在两次重新运行之间不会失败。
Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)