我可以在 EMR 中重新运行失败的映射程序吗?

Question

我刚刚醒来，发现一个失败的 16 小时长的 EMR MpaReduce 作业由于"少数"映射器超时而失败。

有没有办法只重新运行那些失败的映射器（是的，在我的特定用例中是有意义的）？如何？

Answer 1

对于实时问题来说为时已晚。一般来说 - 没有。

但有时这是可能的。如果您可以不厌其烦地找出失败的映射器正在处理哪些拆分（从映射器日志中） - 如果这是一个仅映射作业 - 那么您可以创建一个仅在失败拆分后进行的自定义作业。一般来说非常困难 - 特别是因为拆分通常跨越文件。