我看到map/reduce类存在@ both org.apache.hadoop.mapred &org.apache.hadoop.mapreduce。我们应该用什么,哪个更好?我看到org.apache.hadoop.mapred被删除了一次,但又被添加了回来/
org.apache.hadoop.mapred
是来自遗留hadoop代码的包。org.apache.hadoop.mapreduce
是Hadoop 0.20.x的新增功能。
功能方面,新旧API之间没有太大区别。唯一显著的区别是旧API中的记录被推送到映射器/减速器。而新的API同时支持拉/推机制。你可以在这里获得更多关于拉动机制的信息。
同样,旧的API已被弃用。您可以在这里找到有关新API的更多信息。注意,并不是所有的东西都从mapred
迁移到mapreduce
。尽量使用新的API