使用哪个map reduce包



我看到map/reduce类存在@ both org.apache.hadoop.mapred &org.apache.hadoop.mapreduce。我们应该用什么,哪个更好?我看到org.apache.hadoop.mapred被删除了一次,但又被添加了回来/

org.apache.hadoop.mapred是来自遗留hadoop代码的包。org.apache.hadoop.mapreduce是Hadoop 0.20.x的新增功能。

功能方面,新旧API之间没有太大区别。唯一显著的区别是旧API中的记录被推送到映射器/减速器。而新的API同时支持拉/推机制。你可以在这里获得更多关于拉动机制的信息。

同样,旧的API已被弃用。您可以在这里找到有关新API的更多信息。注意,并不是所有的东西都从mapred迁移到mapreduce。尽量使用新的API

相关内容

  • 没有找到相关文章

最新更新