Hadoop始终使用Java.util.concurrent.TimeOutException结束

Question

我是hadoop的新手，我写了几篇作品，无论如何：

    WARN util.ShutdownHookManager: ShutdownHook '' timeout, java.util.concurrent.TimeoutException
java.util.concurrent.TimeoutException
    at java.util.concurrent.FutureTask.get(FutureTask.java:205)
    at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:67)

我正在Mac（Sierra 10.12.6）上运行此操作，并且使用了Hadoop使用了Hadoop。

这甚至在运行Hadoop文档的WordCount示例时也会发生。

它很奇怪，因为我在处理时没有任何错误，并且我得到了我期望的输出。

只是想知道是否有人遇到了同一问题，我是否缺少任何额外的配置。

预先感谢！

Answer 1

Hadoop作业关闭挂钩的默认超时为30秒。您可以通过在core-site.xml中配置hadoop.service.shutdown.timeout来更改此超时。

您可以在ShutdownHookManager类中找到与此超时有关的代码。

 static long getShutdownTimeout(Configuration conf) {
    long duration = conf.getTimeDuration("hadoop.service.shutdown.timeout", 30L, TIME_UNIT_DEFAULT);
    if (duration < 1L) {
      duration = 1L;
    }
    return duration;
  }