即使发生IOException，作业也能成功完成

Question

在运行GridMix时，我在主节点上收到了各种IOException，我想知道这是我真正应该关心的事情，还是我的工作成功完成时的短暂事件：

IOException: Bad connect ack with firstBadLink: 
java.io.IOException: Bad response ERROR for block BP-49483579-10.0.1.190-1449960324681:blk_1073746606_5783 from datanode 10.0.1.192:50010
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer$ResponseProcessor.run(DFSOutputStream.java:819)

Answer 1

在了解您的完整设置之前，我无法确定，但这些异常很可能是在附加到管道设置时发生的，就代码而言，您可以说是stage == BlockConstructionStage.PIPELINE_SETUP_APPEND。

在任何情况下，由于您的作业正在成功完成，您不必担心，它成功完成的原因是，因为当尝试打开到DataNode管道的DataOutputStream时，如果发生某些异常，则它会继续尝试，直到管道设置完成。

异常发生在org.apache.hadoop.hdfs.DFSOutputStream中，下面是重要的代码片段，供您理解。

 private boolean createBlockOutputStream(DatanodeInfo[] nodes, long newGS, boolean recoveryFlag) {
    //Code..
    if (pipelineStatus != SUCCESS) {
      if (pipelineStatus == Status.ERROR_ACCESS_TOKEN) {
        throw new InvalidBlockTokenException(
            "Got access token error for connect ack with firstBadLink as "
                + firstBadLink);
      } else {
        throw new IOException("Bad connect ack with firstBadLink as "
            + firstBadLink);
      }
    }
    //Code..
}

现在，createBlockOutputStream是从setupPipelineForAppendOrRecovery调用的，正如该方法的代码注释所提到的那样——"它一直在尝试，直到建立了管道"。

/**
 * Open a DataOutputStream to a DataNode pipeline so that 
 * it can be written to.
 * This happens when a file is appended or data streaming fails
 * It keeps on trying until a pipeline is setup
 */
private boolean setupPipelineForAppendOrRecovery() throws IOException {
    //Code..
    while (!success && !streamerClosed && dfsClient.clientRunning) {
        //Code..
        success = createBlockOutputStream(nodes, newGS, isRecovery);
    }
    //Code..
}

如果你仔细阅读完整的org.apache.hadoop.hdfs.DFSOutputStream代码，你就会明白管道安装试验将继续进行，直到创建了一个管道供附加或新使用。

如果你想处理它，那么你可以尝试从hdfs-site.xml调整dfs.datanode.max.xcievers属性，最多有人报告了相同的解决方案。请注意，您需要在设置属性后重新启动hadoop服务。

<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>8192</value>
</property>

Answer 2

忽略它？

try {
  ...
} catch (IOException iox) {
  //***NOP***
}