什么时候使用Hive引擎MR,什么时候使用TEZ



在什么情况下使用Hive引擎TEZ优于MR?

各自的优缺点是什么?

TEZ和MR一样,只是速度更快。查询越复杂,从TEZ获得的好处就越多。所以TEZ在起作用时总是更可取的。

Tez通过为单个作业提供执行复杂DAG(有向无环图)任务的能力,将MapReduce范式推广为一个更强大的框架。当计划通过map-reduce原语实现时,不可避免地会有大量的作业边界,这会带来持久存储和作业启动的读/写开销,并且可能会错过简单的优化机会,例如工作节点重用和热缓存。

当然,在你的TEZ版本中还有一些bug没有解决——这是你在TEZ上实现某些特定解决方案时可能面临的唯一问题。

虽然MR更成熟,但Hive-on-MR在Hive 2中已被弃用,并且可能在未来的版本中不可用。

另读:

MR与Tez的差异

:

引入特斯

相关内容

  • 没有找到相关文章

最新更新