错误org.apache.pig.tools.grunt.grunt-错误2998:未处理的内部错误.org/pytho



我刚开始使用Pig,在运行我的第一个程序时遇到了很多问题。非常感谢您的帮助。

我已经尝试使用这些解决方案:

错误org.apache.pig.tools.grunt.grunt-错误2998:未处理的内部错误。org/apache/hoop/hbase/filter/WritableByteArrayComparable

清管器安装错误:清管器错误。Main:错误2998:未处理的内部错误

但它们似乎都不起作用。有人能对需要做的事情给出更详细的解决方案吗。

清管器版本:0.17.0

堆栈跟踪:

Pig Stack Trace
---------------
ERROR 2998: Unhandled internal error. org/python/google/common/collect/Lists
java.lang.NoClassDefFoundError: org/python/google/common/collect/Lists
at org.apache.pig.tools.pigstats.mapreduce.MRJobStats.getTaskReports(MRJobStats.java:533)
at org.apache.pig.tools.pigstats.mapreduce.MRJobStats.addMapReduceStatistics(MRJobStats.java:355)
at org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil.addSuccessJobStats(MRPigStatsUtil.java:232)
at org.apache.pig.tools.pigstats.mapreduce.MRPigStatsUtil.accumulateStats(MRPigStatsUtil.java:164)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher.launchPig(MapReduceLauncher.java:379)
at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig(HExecutionEngine.java:290)
at org.apache.pig.PigServer.launchPlan(PigServer.java:1475)
at org.apache.pig.PigServer.executeCompiledLogicalPlan(PigServer.java:1460)
at org.apache.pig.PigServer.storeEx(PigServer.java:1119)
at org.apache.pig.PigServer.store(PigServer.java:1082)
at org.apache.pig.PigServer.openIterator(PigServer.java:995)
at org.apache.pig.tools.grunt.GruntParser.processDump(GruntParser.java:782)
at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:383)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:230)
at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:205)
at org.apache.pig.tools.grunt.Grunt.exec(Grunt.java:81)
at org.apache.pig.Main.run(Main.java:630)
at org.apache.pig.Main.main(Main.java:175)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:323)
at org.apache.hadoop.util.RunJar.main(RunJar.java:236)
Caused by: java.lang.ClassNotFoundException: org.python.google.common.collect.Lists
at java.net.URLClassLoader.findClass(URLClassLoader.java:387)
at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
... 24 more
================================================================================

我认为这是Pig某些版本中的一个错误。

它(MRJobStats.java(似乎使用了org.python.google.common.collect.*类而不是org.google.common.collect.*类,并且前者不在类路径中。

此错误已在此提交中修复:

  • https://github.com/apache/pig/commit/6dd3ca4deb84edd9edd7765aa1d12f89a31b1283

2017年7月。不幸的是,这是在您正在使用的pig 0.17.0版本之后;看见https://github.com/apache/pig/blob/trunk/CHANGES.txt.

所以你们很可能需要结账并为自己建造猪。Github上的README.txt文件中有一个指向构建说明的链接:https://github.com/apache/pig

相关内容

最新更新