我可以在Jupyter/ ipypython中使用hadoop吗?

Question

我可以使用Hadoop吗?MapReduce在Jupyter/ipypython ?是否有类似于PySpark for Spark的东西?

Answer 1

当然可以。许多框架，如Hadoop Streaming, mrjob和dumbo等等。在Jupyter中包含这些的技术方面应该包括subprocess.Popen()调用或典型的python导入，具体取决于框架。

关于这些框架的一个很好的概述/评论可以在这篇cloudera博客文章中找到。