哪个作业地图减少可以做，但 Apache Crunch 不能？

Question

我正在学习apache crunch。据我所知，crunch是一个基于map reduce框架的抽象框架。我打算使用crunch而不是map reduce框架。

我的问题是地图缩减可以做什么工作，而紧缩不能？

Answer 1

我不认为mapreduce可以做什么，而apachecrunch不能做什么。Apache crunch是一个在Mapreduce上运行的框架，就像Hive，Pig一样。事实上，它通过编写DoFn使map reduce编程变得简单，而crunch则负责使用其执行计划器和引擎在map或reduce阶段实现业务逻辑。与纯形式的map reduce代码相比，像联接这样的概念可以很容易地在crunch中实现。