如果我们需要自动化mapreduce程序或从脚本运行,有什么不同的方法来检查mapreduce程序是否成功运行?一种方法是查找是否在输出目录中创建了_SUCCESS文件。命令"hadoop jar program.jar hdfs:/input.txt hdfs:/output"是否根据成功或失败返回 0 或 1?
就像 Linux 中的任何其他命令一样,您可以检查Hadoop jar 命令使用内置变量 $?。
您可以使用: echo $?
执行 Hadoop jar 命令以检查其状态后。
退出状态值从 0 到 255 不等。退出状态为零表示命令已成功执行,而非零值表示命令失败。
编辑:要了解如何实现自动化或从脚本运行,请参阅 Hadoop 作业在被 cron 调用时失败。