配置 Elasticsearch 集群

服务器

浏览数:297

2019-7-25

Elasticsearch 的安装非常简单,笔者在前文《单机部署 ELK》中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义。

要配置集群,最简单的情况下,设置下面几个参数就可以了:

cluster.name: es-cluster
node.name: es-node-1
discovery.zen.ping.unicast.hosts: ["192.168.1.101","192.168.1.102"]
discovery.zen.minimum_master_nodes: 1

本文的演示环境为 Ubuntu Server 18.04,Elasticsearch 的版本为 6.2.4。

配置文件

在 Ubuntu 中使用 deb 包安装的 Elasticsearch 的默认安装目录为:

/usr/share/elasticsearch

但是 Elasticsearch 的配置文件确不在这里,配置文件的目录为:

/etc/elasticsearch

注意,这个目录及其所有内容的所有者都是 root,属于 elasticsearch 用户组。本文我们主要关注的配置文件为 /etc/elasticsearch/elasticsearch.yml。

配置集群的名称

一个节点只有与集群中的所有其他节点拥有相同的 master.name 时才能加入集群。默认的集群名称是 elasticsearch,最好是设置为合适的名字,否则可能和现有的集群同名。下面的配置把集群命名为 es-cluster:

cluster.name: es-cluster

注意:确保不要在不同的环境中重用相同的集群名称,否则可能会导致节点加入错误的集群。

配置节点的名称

如果不设置节点的名称 node.name,默认情况下,Elasticsearch 将使用随机生成的 UUID 的前七个字符作为节点的 ID,并且这个随机的字符串会被持久化下来,即使重启系统也不会丢失。但是为了提高系统的可读性,我们最好是为每个节点设置一个合适的名字:

node.name: es-node-1

或者是干脆设置为主机的名称:

node.name: ${HOSTNAME}

列出集群中的所有节点

Elasticsearch 自己实现了一个名称为 “Zen Discovery” 的发现节点并从集群的节点间选取主节点的功能。在集群的配置中一定要配置两个与 “Zen Discovery” 相关的配置项,其中的一个为 discovery.zen.ping.unicast.hosts

在不进行任何网络配置的情况下,Elasticsearch 将绑定到可用的环回地址,并扫描端口 9300 到 9305,以尝试连接到同一服务器上运行的其他节点。这提供了一种无需进行任何配置的自动集群体验。当需要在其他服务器上使用节点组成集群时,必须通过 discovery.zen.ping.unicast.hosts 提供集群中其他节点的列表:

discovery.zen.ping.unicast.hosts: ["192.168.1.101","192.168.1.102"]

除了 IP 地址,这里也可以使用主机名(hostname)。

配置最小 master 节点数

另一个必须要设置的 “Zen Discovery” 相关的配置项为 discovery.zen.minimum_master_nodes。它的默认值是1,该属性定义的是为了组成一个集群,相互连接的候选主结点的最小数目,强烈推荐该属性的设置使用多数原则:(master_eligible_nodes / 2) + 1,既能避免出现脑裂(split-brain),又能在故障发生后,快速选举出新的主结点。例如:有 5 个候选主结点,推荐把该属性设置为 3。由于本文演示的 demo 中只有两个节点,因此把该值设置为 1:

discovery.zen.minimum_master_nodes: 1

脑裂(split-brain):
为了解释,假设您有一个由两个候选节点组成的集群。网络故障中断了这两个节点之间的通信。每个节点都看到一个符合主节点资格的节点,此时如果 minimum_master_nodes 设置为默认值 1,这就足以形成一个集群。每个节点都选择自己作为新的主节点(认为另一个候选节点已经死亡),结果是两个集群,或一个分裂的大脑。在重新启动一个节点之前,这两个节点永远不会重新连接。如果重新启动其中的一个节点,那么已写入该节点的任何数据都将丢失。
假设您有一个集群,其中有三个候选节点,minimum_master_nodes 被设置为 2。如果网络分裂将一个节点与其他两个节点分开,则拥有一个节点的一方无法看到足够的符合主控资格的节点,并将意识到它无法选择自己作为主控节点。拥有两个节点的端将选择一个新的主节点(如果需要)并继续正常工作。一旦网络分裂得到解决,单个节点将重新加入集群并再次开始服务请求。

至此一个非常简单的双节点集群就配置完成了,重启节点上的 Elasticsearch 服务,就可在 Kibana 上看到集群中节点的信息了:

其它重要的配置

只配置上面的四个属性就可以把集群搭建起来了。但是理解并配置另外一些重要的信息能让 Elasticsearch 节点及整个集群更加高效,下面是个人认为一些比较重要的配置。

候选节点(Master Eligible Node)
主节点负责在集群范围内执行轻量级操作,比如创建或删除索引、跟踪哪些节点是集群的一部分,以及决定将哪些分片分配给哪些节点。对于集群健康来说,拥有一个稳定的主节点非常重要。
任何候选节点(默认情况下所有节点都是候选节点)都可以被选举为主节点。也就是说节点默认的 node.master 值为 true:

node.master: true

索引和搜索数据是 CPU、内存和 I/O 密集型操作,这会对节点的资源造成压力。为了确保主节点是稳定的,并且没有压力,在规模比较大的集群中,最好把节点划分为不同的角色,比如专用的候选节点和专用的数据节点。因此精细一点的配置会让主节点只负责轻量级的操作:

node.master: true
node.data: false
node.ingest: false
search.remote.connect: false 

虽然主节点也可以作为协调节点,将客户机的搜索和索引请求路由到数据节点,但是最好不要让主节点做这样的事情。对于集群的稳定性来说,主节点所做的工作越少越好。因此可以设置专门的协调节点做这些工作,后面会有介绍。

数据节点(Data Node)
数据节点持有包含已索引文档的切片。数据节点处理与数据相关的操作,如 CRUD、搜索和聚合。这些操作是 CPU、内存和 I/O 密集型操作。因此需要监视这些资源,并在它们过载时添加更多的数据节点。下面的配置把节点设置为专用的 Data Node:

node.master: false
node.data: true
node.ingest: false
search.remote.connect: false

摄取节点(Ingest Node)
摄取节点可以执行由一个或多个摄取处理器组成的预处理管道。根据摄取处理器执行的操作类型和所需的资源,使用专用的摄取节点可能是有意义的,这些节点只执行这个特定的任务。下面的配置把节点设置为专用的 Ingest Node:

node.master: false
node.data: false
node.ingest: true
search.remote.connect: false

协调节点(Cordinating only node)
搜索请求或批量索引请求等请求可能涉及不同数据节点上的数据。例如,搜索请求分两个阶段执行,这两个阶段由接收客户机请求的节点(协调节点)协调。
在分散阶段,协调节点将请求转发给持有数据的数据节点。每个数据节点在本地执行请求并将结果返回给协调节点。在收集阶段,协调节点将每个数据节点的结果简化为单个全局结果集。
每个节点都是隐式的协调节点。如果取消了节点的候选资格、保存数据的能力和预处理文档的能力,那么它就只剩下一个协调节点的功能,它只能路由请求、处理 search reduce 阶段和分发批量索引。
只有协调节点才能从数据节点和候选节点中卸载协调节点角色,从而使大型集群受益。它们加入集群后,像其他节点一样接收完整的集群状态,并使用集群状态将请求直接路由到适当的位置。下面的配置把节点设置为专用的协调节点:

node.master: false
node.data: false
node.ingest: false
search.remote.connect: false 

配置节点的 IP 地址
默认情况下,Elasticsearch 只绑定到回环地址,例如:127.0.0.1 (::1)。这样只能从该服务器上访问 Elasticsearch。事实上,可以从单个节点上相同的 $ES_HOME 位置启动多个节点。这对于测试 Elasticsearch 形成集群的能力很有用,但不推荐用于生产环境。
为了与其他服务器上的节点通信并形成集群,需要把节点绑定到一个非回环地址。虽然有许多网络配置项,但通常只需要配置:

network.host: 192.168.1.101

注意,一旦为 network.host 提供了自定义设置。Elasticsearch 就假设您正在从开发模式转移到生产模式,并将许多系统启动检查从警告升级到异常。

一个简要的示例

下面是一个简要的 3 节点机器的配置示例:

# node 1
cluster.name: es-cluster
node.name: es-node-1
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.100
discovery.zen.ping.unicast.hosts: ["10.32.2.101", "10.32.2.102"]
discovery.zen.minimum_master_nodes: 2

# node 2
cluster.name: es-cluster
node.name: es-node-2
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.101
discovery.zen.ping.unicast.hosts: ["10.32.2.100", "10.32.2.102"]
discovery.zen.minimum_master_nodes: 2

# node 3
cluster.name: es-cluster
node.name: es-node-3
node.master: true
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 10.32.2.102
discovery.zen.ping.unicast.hosts: ["10.32.2.100", "10.32.2.101"]
discovery.zen.minimum_master_nodes: 2

参考:
Important Elasticsearch configuration
elasticsearch 集群搭建及参数详解
ElasticSearch入门 第二篇:集群配置
Elasticsearch Node

作者:sparkdev