Pig 0.13 错误仅在 mapReduce 模式下



我正在使用带有Pig 0.13的cloudera CDH5(也尝试了Pig 0.12.1),我正在构建自己的自定义loadFunc,我有一个简单的脚本,只是使用新的loadFunc加载。

local模式下运行时,一切正常,输出正确。

但是当以mapreduce模式(仍然是本地)运行时,我收到错误:

Unable to open iterator for alias output_hash
    at org.apache.pig.PigServer.openIterator(PigServer.java:880)
    at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:774)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:372)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
    at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:84)
    at org.apache.pig.Main.run(Main.java:478)
    at org.apache.pig.Main.main(Main.java:156)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.io.IOException: Job terminated with anomalous status FAILED
    at org.apache.pig.PigServer.openIterator(PigServer.java:872)
    ... 12 more

我尝试将属性详细设置为 true 或跟踪进行调试,但没有获得有用的信息。

关于如何解决或调试此问题的任何见解?

找到了解决方案。问题是我正在使用 maven 来构建项目,并且我正在构建带有依赖项的 jar。这导致具有相同类路径的类名的依赖项相互覆盖(如文件系统.java对于hadoop-hdfs和hadoop-common,解决方案只是构建jar而不包含依赖项。

相关内容

  • 没有找到相关文章

最新更新