我的本地Hadoop集群中有一个500TB大小的HBase表。我们如何将这些HBase数据迁移到Google Bigtable。任何建议都将不胜感激。我们在内部部署和谷歌云之间有10gbps的网络连接。
如果您能够执行脱机迁移(停止写入)，那么有一个全面的指南和一套工具可以帮助您完成此操作。在Bigtable团队中，我们最近增加了对使用快照进行迁移的支持，指南将很快对此进行更新。如果你想做一个在线迁移，我们有一个演示，详细介绍了需要做什么。让我知道这是否有帮助，或者你是否可以提供更多关于你的情况的信息。
除了Billy所说的，我们还有一个验证作业，它与Apache HBase哈希表作业(第4点)一起工作。这个验证作业比较HBase和Bigtable之间的哈希值并进行匹配。如果没有不匹配，您可以确信所有的数据都被复制了，没有任何问题。
您也可以使用我们的Schema转换工具在Cloud Bigtable中基于您的HBase表创建预拆分表。