使用 Amazon Elastic MapReduce 嵌入 Pig 脚本

Question

>我正在尝试运行嵌入在python中的Pig脚本。我做过这在我自己的机器上运行像 Pig-X 一样的脚本没有问题本地 pigRunner.py但是当我把它移到亚马逊的EC2上时，我遇到了一个令人惊讶的错误：

File "pigRunner.py", line 3 in <module>
  from org.apache.pig.scripting import *
ImportError: No module named pig
[1]+ Exit 6 pig -x mapreduce pigRunner.py

有没有人在亚马逊运行Python脚本时遇到过麻烦？是为了让他们处理，我应该做一些特别的事情吗？

感谢您提供的任何帮助。

Answer 1

我遇到了同样的问题，发现这是一个路径问题。我正在运行AMI版本"2.4.2（Hadoop 1.0.3） - 最新"。

在我的嵌入式 pig python 文件中，在从 pig 导入任何内容之前，我必须将以下位置添加到 python 路径中：

#!/usr/bin/python
sys.path.append('/home/hadoop/.versions/pig-0.11.1.1/lib/pig/pig-0.11.1.1-amzn.jar/Lib')
from org.apache.pig.scripting import *

然后，jython口译员能够找到所有必要的猪模块。