GeoMesa对HBase的导入速度更快



我在HBase v1.2.6上使用GeoMesa v1.4.0。目前,我正在HBaseQuickStart类的帮助下导入和索引我的数据。不幸的是,大型文件的运行时间非常长。有人知道GeoMesa的bulkLoad可以加快我的流程吗?提前感谢!

GeoMesa开箱即用,通过二进制分发命令行工具提供摄取。您必须定义一个"转换器"文件,该文件具有从输入文件到简单功能类型的映射。一旦你有了它,你就可以使用多个线程在本地运行,或者使用map/reduce远程运行。Accumulo命令的文档在这里,HBase命令的工作原理相同,但参数略有不同。此处提供了有关安装HBase工具的文档。

如果你想保留你的Java摄取代码,那么你需要做一些自定义的事情。这里有一个写地图减少摄入的例子。

最新更新