阿帕奇猪 - 错误 6007："Unable to check name"消息

Question

环境： Hadoop 1.0.3， hbase 0.94.1， 猪 0.11.1

我正在 Java 程序中运行一个 pig 脚本，有时但并非总是出现以下错误。程序所做的是从hdfs加载一个文件，进行一些转换并将其存储到hbase中。 我的程序是多线程的。我已经使PigServer线程安全，并且在hdfs中创建了"/user/root"目录。这是程序的片段和我得到的例外。 请指教。

pigServer = PigFactory.getServer();
URL path = getClass().getClassLoader().getResource("cfg/concatall.py");  
LOG.info("CDNResolve2Hbase: reading concatall.py file from " + path.toString());
pigServer.getPigContext().getProperties().setProperty(PigContext.JOB_NAME,
"CDNResolve2Hbase");
pigServer.registerQuery("A = load '" + inputPath + "' using PigStorage('t') as     (ip:chararray, do:chararray, cn:chararray, cdn:chararray, firsttime:chararray,     updatetime:chararray);");
pigServer.registerCode(path.toString(),"jython","myfunc");
pigServer.registerQuery("B = foreach A generate myfunc.concatall('"+ extractTimestamp (inputPath)+"',ip,do,cn), cdn, SUBSTRING(firsttime,0,8);");
outputTable = "hbase://" + outputTable;
ExecJob job = pigServer.store  ("B",outputTable,"org.apache.pig.backend.hadoop.hbase.HBaseStorage('d:cdn d:dtime')");

我的猪工厂有以下代码

private static ThreadLocal<PigServer> pigServer = new ThreadLocal<PigServer>();
public static synchronized PigServer getServer() {
if (pigServer.get() == null) {
try
{ printClassPath(); Properties prop = SystemUtils.getCfg(); pigServer.set(new PigServer    (ExecType.MAPREDUCE, prop)); return pigServer.get(); }
catch (Exception e)
{ LOG.error("error in starting PigServer:", e); return null; }
}
return pigServer.get();
}

org.apache.pig.impl.logicalLayer.FrontendException： 错误 1000： 解析过程中出错。 无法检查名称 hdfs://DC-001:9000/user/root at org.apache.pig.PigServer$Graph.parseQuery（PigServer.java：1607） at org.apache.pig.PigServer$Graph.registerQuery（PigServer.java：1546） at org.apache.pig.PigServer.registerQuery（PigServer.java：516） at org.apache.pig.PigServer.registerQuery（PigServer.java：529） at com.hugedata.cdnserver.datanalysis.CDNResolve2Hbase.execute（Unknown Source） at com.hugedata.cdnserver.DatAnalysis.cdnResolve2Hbase（Unknown Source） at com.hugedata.cdnserver.task.HandleDomainNameLogTask.execute（Unknown Source） at sun.reflect.NativeMethodAccessorImpl.invoke0（Native Method） at sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java：39） at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java：25） at java.lang.reflect.Method.invoke（Method.java：597） at org.springframework.util.MethodInvoker.invoke（MethodInvoker.java：273） at org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean$MethodInvokingJob.executeInternal（MethodInvokingJobDetailFactoryBean.java：264） at org.springframework.scheduling.quartz.QuartzJobBean.execute（QuartzJobBean.java：86） at org.quartz.core.JobRunShell.run（JobRunShell.java：203） at org.quartz.simpl.SimpleThreadPool$WorkerThread.run（SimpleThreadPool.java：520）

原因：解析失败：Pig脚本解析失败： pig 脚本验证失败：org.apache.pig.backend.datastorage.DataStorage异常：错误 6007：无法检查名称 hdfs://DC-001:9000/user/root at org.apache.pig.parser.QueryParserDriver.parse（QueryParserDriver.java：191） at org.apache.pig.PigServer$Graph.parseQuery（PigServer.java：1599）

。15 更多 引起： pig 脚本验证失败：org.apache.pig.backend.datastorage.DataStorage异常：错误 6007：无法检查名称 hdfs://DC-001:9000/user/root at org.apache.pig.parser.LogicalPlanBuilder.buildLoadOp（LogicalPlanBuilder.java：835） 在org.apache.pig.parser.LogicalPlanGenerator.load_clause（逻辑计划生成器.java：3236） 在org.apache.pig.parser.LogicalPlanGenerator.op_clause（逻辑计划生成器.java：1315） at org.apache.pig.parser.LogicalPlanGenerator.general_statement（LogicalPlanGenerator.java：799） at org.apache.pig.parser.LogicalPlanGenerator.statement（LogicalPlanGenerator.java：517） at org.apache.pig.parser.LogicalPlanGenerator.query（LogicalPlanGenerator.java：392） at org.apache.pig.parser.QueryParserDriver.parse（QueryParserDriver.java：184）

。还有 16 个 由以下原因引起：org.apache.pig.backend.datastorage.DataStorage异常：错误 6007：无法检查名称 hdfs://DC-001:9000/user/root at org.apache.pig.backend.hadoop.datastorage.HDataStorage.isContainer（HDataStorage.java：207） at org.apache.pig.backend.hadoop.datastorage.HDataStorage.asElement（HDataStorage.java：128） at org.apache.pig.backend.hadoop.datastorage.HDataStorage.asElement（HDataStorage.java：138） at org.apache.pig.parser.QueryParserUtils.getCurrentDir（QueryParserUtils.java：91） at org.apache.pig.parser.LogicalPlanBuilder.buildLoadOp（LogicalPlanBuilder.java：827）

。还有 22 个 原因：java.io.IOException：文件系统关闭 at org.apache.hadoop.hdfs.DFSClient.checkOpen（DFSClient.java：264） at org.apache.hadoop.hdfs.DFSClient.getFileInfo（DFSClient.java：873） at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus（DistributedFileSystem.java：513） at org.apache.hadoop.fs.FileSystem.exists（FileSystem.java：768） at org.apache.pig.backend.hadoop.datastorage.HDataStorage.isContainer（HDataStorage.java：200）

。还有 26 个

Answer 1

这

看起来像是一个HDFSClient问题。据我了解，问题是FileSystem对象被缓存。所以我的猜测是一个线程正在关闭它，而另一个线程仍在使用它。 Caused by: java.io.IOException: Filesystem closed at

看看这篇关于多个文件系统实例的其他 SO 文章。多个 Hadoop 文件系统实例

Answer 2

您收到的错误表明您没有使用与服务器相同的Hadoop客户端。你能检查一下本地安装的Hadoop版本吗？