如何在 Elastic Search 上传输和索引 Cassandra 数据



我正在启动一个nodejs应用程序,我想在Elastic Search上索引Cassandra数据,但是最好的方法是什么?,我看了一下Storm来实现这一点,但似乎不是解决方案。首先,我想将一个客户端用于 Cassandra,一个客户端用于 Elastic 搜索,并在我的应用程序上应用两次插入/更新/删除,每个客户端一个,但似乎不是要走的路,我担心这一点的一致性。有更好的方法来传输要在 Elastic Search 上编入索引的 Cassandra 数据吗?风暴会帮我完成吗?有人可以建议任何将一个数据库数据传输到另一个数据库数据的技术吗?我在这里真的很怀疑,无处可寻。

你想把数据从Cassandra移动到ElasticSearch一次,而且只移动一次吗?或者您想让它们保持同步?

在这两种情况下,我认为Storm都是一个不错的选择。我过去曾经将数据从RDBMS移动到Apache Solr。要记住的一件事是 Solr/Elastic 搜索可以执行的写入限制。如果你增加了平行度,那么你就会把它们带到膝盖上。

另一种选择可能是Apache Hadoop,但它只适合一次复制,或者如果你想每天复制数据(昨天的相同数据+可能是新的)。

最新更新