Cygwin Hadoop地图减少问题

Question

我在让 map/reduce 示例在 cygwin 上工作时遇到问题：http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python/

在 cygwin 下，传递 -mapper=mapper.py 会导致"创建进程错误 = 193，%1 不是有效的 Win32 应用程序"

我尝试使用 -mapper="python mapper.py"，它给出错误：java.lang.RuntimeException：PipeMapRed.waitOutputThreads（）：子进程失败，代码 1

有人在cygwin下使用python成功运行hadoop map/reduce吗？

谢谢。

Answer 1

我在Cygwin的教程中取得了成功。 我正在使用Hadoop-0.20.2，在WinXP上的Cygwin 1.7.9-1下。 我还没有看到你的确切消息... 不过，我正在回答，因为我确实在使用 -mapper 选项时遇到了一些麻烦，并通过将 python 脚本放在/tmp 目录中来解决它。 我看到一些错误消息，让我觉得/home 目录在 Cygwin 下的命名方式有些混乱。 我决定通过使用/tmp 来避免这种情况并取得了成功。 我也用了单引号，顺便说一句。 有时，在 Windows 中粘贴双引号会给你一个 Unix 进程无法理解的字符。

顺便说一句，我还利用了教程re.让Hadoop在Cygwin和Eclipse下运行：http://ebiquity.umbc.edu/Tutorials/Hadoop/接近尾声的Eclipse/java东西对我不起作用，也不是我计划使用Hadoop的方式。 不过，前几个步骤有助于启动伪集群。