如何为海量数据设置弹性集群?

Question

我被要求为大约 100 TB 的文本数据设置弹性搜索集群！ 我已经知道如何在 elastic 中进行搜索和 aggs，但我真的不知道如何为这样的大数据设置具有多个节点的集群！ 我的意思是有多少大师，佐伊饲养员，CD，...？或者我是否需要为activeMQ配备一台专用服务器？...

有没有解释这一点的文件？

Answer 1

ES 是一个分布式系统，创建一个具有 1 个节点或 1000 个节点的集群并没有太大区别。

在这种情况下，您可以做的是拥有一些主节点和更多数据节点来创建大型集群。

主节点负责轻量级集群范围的操作 例如创建或删除索引，跟踪哪些节点是一部分 ，并决定将哪些分片分配给哪些节点。

数据节点保存包含您拥有的文档的分片 索引。数据节点处理与数据相关的操作，如 CRUD、搜索、 和聚合。这些操作包括 I/O、内存和 占用大量资源。监视这些资源并添加 如果数据节点过载，则更多数据节点。

您可以选择较小的主节点(如果它们不保存数据(和数据节点是大型的。

以下是主节点的配置。

http.port: 9200
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]
cluster.name: elasticsearch_hobbes ## note this cluster name must be same for all the es nodes in the same cluster
node.name: "elasticsearch_001_master"// give 002 for other master node
node.master: true
**node.data: false (This master node will not hold the data)**
path.data: /usr/local/var/elasticsearch/
path.logs: /usr/local/var/log/elasticsearch/
discovery.zen.ping.multicast.enabled: false

下面是数据节点的配置。

cluster.name: elasticsearch_hobbes
node.name: "node2"
node.master: false
node.data : true
http.port: 9201
discovery.zen.ping.multicast.enabled: false
script.engine.groovy.inline.aggs: on
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]

然后，您可以通过单击 http://localhost:9200/_plugin/kopf/#!/cluster 转到主节点的KOPF plugin，然后查看下面的屏幕，其中显示了集群中的所有三个节点。

注意：- 请按照 https://github.com/lmenezes/elasticsearch-kopf 安装 KOPF 插件。如果您在设置群集时遇到任何问题，请告诉我。