一个在hadoop中需要迭代的好例子



我目前正在hadoop上实现并行for,以迭代用户指定的映射器多次。有人可以帮助我一个有用的例子,我可以使用我的实现进行测试。Hadoop中的一些应用程序需要迭代Mapper函数。谢谢你

最简单的是实现Apriori算法,用于查找频繁项集。

您所说的"映射器的迭代"究竟是什么意思?我有一个递归地启动一个作业的例子(在最后一个作业的输入上)。

看这里,它解释了一个简单的图思维搜索/图探索算法:http://codingwiththomas.blogspot.com/2011/04/graph-exploration-with-hadoop-mapreduce.html

更一般的版本是这样的:http://codingwiththomas.blogspot.com/2011/04/controlling-hadoop-job-recursion.html

在数据挖掘中有很多这样的例子。您可以尝试其中一种聚类算法,例如:

相关内容

  • 没有找到相关文章

最新更新