我正在研究一个自定义加载函数，以便在Dataproc上使用Pig从Bigtable加载数据。我使用以下从Dataproc获取的jar文件列表编译我的java代码。当我运行以下 Pig 脚本时，它在尝试与 Bigtable 建立连接时失败。
错误消息是：
Bigtable does not support managed connections.
问题：
- 这个问题有解决方法吗？
- 这是一个已知问题，是否有修复或调整的计划？
- 有没有另一种方法可以将多重扫描实现为 Pig 的加载函数，以便与 Bigtable 配合使用？
详：
罐子文件：
hadoop-common-2.7.3.jar
hbase-client-1.2.2.jar
hbase-common-1.2.2.jar
hbase-protocol-1.2.2.jar
hbase-server-1.2.2.jar
pig-0.16.0-core-h2.jar
这是一个使用我的自定义加载函数的简单 Pig 脚本：
%default gte '2017-03-23T18:00Z'
%default lt '2017-03-23T18:05Z'
%default SHARD_FIRST '00'
%default SHARD_LAST '25'
%default GTE_SHARD '$gte_$SHARD_FIRST'
%default LT_SHARD '$lt_$SHARD_LAST'
raw = LOAD 'hbase://events_sessions'
USING com.eduboom.pig.load.HBaseMultiScanLoader('$GTE_SHARD', '$LT_SHARD', 'event:*')
AS (es_key:chararray, event_array);
DUMP raw;
我的自定义加载函数 HBaseMultiScanLoader 创建一个 Scan 对象列表，以对表中不同范围的数据执行多次扫描，events_sessions由 gte 和 lt 之间的时间范围确定，并由SHARD_FIRST到SHARD_LAST分片。
HBaseMultiScanLoader 扩展了 org.apache.pig.LoadFunc，因此它可以在 Pig 脚本中用作加载函数。 当 Pig 运行我的脚本时，它会调用 LoadFunc.getInputFormat()。 我的getInputFormat()实现返回了我的自定义类MultiScanTableInputFormat的一个实例，该实例扩展了org.apache.hadoop.mapreduce.InputFormat。 MultiScanTableInputFormat 初始化 org.apache.hadoop.hbase.client.HTable 对象以初始化与表的连接。
深入研究hbase-client源代码，我看到org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal()调用org.apache.hadoop.hbase.client.ConnectionManager.createConnection()，属性"managed"硬编码为"true"。 您可以从下面的堆栈轨道中看到，我的代码(MultiScanTableInputFormat)尝试初始化一个HTable对象，该对象调用getConnectionInternal()，该对象不提供将manage设置为false的选项。 沿着堆栈跟踪向下，您将到达不接受managed=true的AbstractBigtableConnection，从而导致与Bigtable的连接失败。
下面是显示错误的堆栈跟踪：
2017-03-24 23:06:44,890 [JobControl] ERROR com.turner.hbase.mapreduce.MultiScanTableInputFormat - java.io.IOException: java.lang.reflect.InvocationTargetException
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:240)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:431)
at org.apache.hadoop.hbase.client.ConnectionManager.createConnection(ConnectionManager.java:424)
at org.apache.hadoop.hbase.client.ConnectionManager.getConnectionInternal(ConnectionManager.java:302)
at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:185)
at org.apache.hadoop.hbase.client.HTable.<init>(HTable.java:151)
at com.eduboom.hbase.mapreduce.MultiScanTableInputFormat.setConf(Unknown Source)
at com.eduboom.pig.load.HBaseMultiScanLoader.getInputFormat(Unknown Source)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:264)
at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)
at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
at org.apache.hadoop.mapreduce.lib.jobcontrol.ControlledJob.submit(ControlledJob.java:335)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.pig.backend.hadoop23.PigJobControl.submit(PigJobControl.java:128)
at org.apache.pig.backend.hadoop23.PigJobControl.run(PigJobControl.java:194)
at java.lang.Thread.run(Thread.java:745)
at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher$1.run(MapReduceLauncher.java:276)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
at org.apache.hadoop.hbase.client.ConnectionFactory.createConnection(ConnectionFactory.java:238)
... 26 more
Caused by: java.lang.IllegalArgumentException: Bigtable does not support managed connections.
at org.apache.hadoop.hbase.client.AbstractBigtableConnection.<init>(AbstractBigtableConnection.java:123)
at com.google.cloud.bigtable.hbase1_2.BigtableConnection.<init>(BigtableConnection.java:55)
... 31 more
最初的问题是由使用过时和弃用的 hbase 客户端 jar 和类引起的。
我更新了我的代码以使用Google提供的最新hbase客户端jar，并且原始问题已修复。
我仍然被一些我仍然没有弄清楚的 ZK 问题所困扰，但这是一个不同问题的对话。
这个回答了！
我遇到了同样的错误消息：
Bigtable 不支持托管连接。
但是，根据我的研究，根本原因是无法显式构造类HTable。后改为connection.getTable构造HTable。问题解决了。