需要将映射器错误与错误值一起存储在 hdfs 中



您好,我需要在映射器中抛出异常并将该错误打印到 HDFS 中的文件中?

我不希望整个工作失败。具有错误文件的映射器应该抛出异常,并且应该将错误写入HDFS中的文件。

我应该如何实现这一点?

如果您在映射器中捕获异常,我认为应该没有问题。在捕获代码中,您可以创建一个文件HDFS。有关将数据写入HDFS的更多信息可以在这篇文章中找到,讨论FileSystem类:链接到在MRjob中存储文件

这里还有一个关于 java 异常处理的链接:捕获异常并继续处理

最新更新