控制中间体产生于hadoop



我想用hadoop控制Map和Reduce之间的中间结果。我想指定在Map之后复制这些结果的位置。我会选择会被简化的数据。总之,我想要map的结果之前的过程洗牌和排序和做什么我想要的。如果你有解决办法,请告诉我。

谢谢

您可以在特定的映射器获得InputSplit后处理数据。

map函数指定逻辑。
  1. 我想指定在Map

    之后复制这些结果的位置

    使用Context Java Class和FileSystem在FS上刷新结果(local, hdfs, ftp,…)

  2. 我将选择将被减少的数据

    我想要map的结果之前的进程shuffle和排序和做什么我希望

    Mapper类中指定map函数的逻辑

相关内容

  • 没有找到相关文章