使用WebHcat的Hadoop Knox比以前要慢



我试图将knox用于我的MapReduce工作。以前,我没有使用Knox,MapReduce工作需要35秒。

但是,在使用knox之后,我看到了另一项工作-TempletonControllerJob首先执行,它将开始我的原始MapReduce作业,实际上需要更多时间 - 大约1分钟20s!

我知道MapReduce作业现在是TempletonControllerJob的子工作。

  • 但是我该如何使其更快?
  • 为什么TempletonControllerJob需要这么长时间?

这是一个有趣的观察和问题。不幸的是,这是Apache Hive项目和Templeton/Webhcat而不是Apache Knox的问题。诺克斯仅代表Webhcat API提交工作。希望我能有更多的帮助。

最新更新