在 happybase 扫描中将正则表达式传递给列属性

Question

我正在尝试将正则表达式列表传递给我的 happybase 扫描调用中的列属性。这是因为，我的列名称是通过动态附加我在扫描时无法访问的 id 制成的。

这可能吗？

Answer 1

HappyBase作者在这里。

根据 Thrift API，您可以在 ScannerOpen() API 系列的 columns 参数中传递正则表达式（请参阅 http://svn.apache.org/viewvc/hbase/trunk/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift?view=markup#l717）。但是，HappyBase 使用的 Thrift API 是 ScannerOpenWithScan() ，它使用 TScan 结构（见 http://svn.apache.org/viewvc/hbase/trunk/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift?view=markup#l141），其中不包含任何关于正则表达式的注释。实际上我不知道（没有测试）这是否有效。

一种更灵活、更强大的方法是使用 filter 参数指定过滤器字符串以happybase.Table.scan() 。有关筛选器字符串语法，请参阅 http://hbase.apache.org/book/thrift.html。在您的情况下，像"ColumnPrefixFilter('theprefix')"这样的东西应该可以解决问题。有关 HappyBase API，请参阅 http://happybase.readthedocs.org/en/latest/api.html#happybase.Table.scan。

Answer 2

我不熟悉HBase的语法。这是我使用的 happybase-python 代码，它对我有用。感谢沃特·博斯特利！！与"columns"语句不同，您不必将"columnFamily"放在"ColumnPrefixFilter"中。

import happybase
pool = happybase.ConnectionPool(size=3, host='172.xx.xx.xx')
with pool.connection() as conn1:
    hbaseTable = conn1.table('HBase_table_name_here')
    for rowKey, rowData in hbaseTable.scan(row_prefix= 'year-2015-', filter="ColumnPrefixFilter('month-06')", limit = 6):
        print rowData