阿帕奇猪，抑制"Output Location Validation Failed" "Output directory ... already exists"

Question

从橙色章鱼那里获得此问题的帮助后，我现在需要禁止显示消息"输出位置验证失败"输出目录...已经存在"。 我知道目录存在，我希望这样。 我很确定这将是一个覆盖我的存储 UDF 中某些内容的问题，但我很难弄清楚是什么。 对Java完全陌生，所以请耐心等待。 提前谢谢。

Answer 1

据

我所知，您不能重用直接输出目录。Hadoop阻止了它。如果我理解正确，您正在处理每日日志，因此，我建议您设置一个父输出目录，例如称为输出，并将脚本中的输出目录设置为输出/daily_date。

Answer 2

在存储操作之前删除输出目录：

rmf $outpath;