Accumulo Pig错误-每个作业只能设置一次AccumuloInputFormat的连接器信息



版本:
Accumulo 1.5
清管器0.10

尝试:
使用Accumulo清管器从清管器读取/写入Accumulo中的数据
遇到一个错误-任何能克服这个错误的见解都将不胜感激
切换到Accumulo 1.4不是一个选项,因为我们在C#代码库中使用Accumulo Thrift代理

影响:
这是目前我们项目中的一个障碍。

源参考:
源代码-https://git-wip-us.apache.org/repos/asf/accumulo-pig.git

错误:
在试图从Pig读取Accumulo中的数据集时,我收到了以下错误-

org.apache.pig.backend.executionengine.ExecException:错误2118:AccumuloInputFormat的连接器信息每个作业只能设置一次

代码片段:

DATA = LOAD 'accumulo://departments?instance=indra&user=root&password=xxxxxxx&zookeepers=cdh-dn01:2181' using org.apache.accumulo.pig.AccumuloStorage() AS (row, cf, cq, cv, ts, val);
dump DATA;

尝试使用同一存储库中的ACCUMULO-1783-1.5分支。Pig设置InputFormat的方式与Accumulo设置InputFormats的方式不太一样(值得注意的是,Accumulo做出了一个有趣的断言,即您永远不会为配置调用同一个静态方法不止一个)。

我一直在使用pig 0.12——我怀疑0.10和0.12设置InputFormats的方式有什么不同,但我不肯定YMMV。

我刚刚对上面的分支进行了修复,消除了之前提到的Hadoop版本的限制。

最新更新