SpringCloud学习路线（13）——分布式搜索ElasticSeach集群

news2024/11/25 3:49:55

前言

单机ES做数据存储，必然面临两个问题：海量数据的存储，单点故障。

如何解决这两个问题？

海量数据的存储问题： 将索引库从逻辑上拆分为N个分片（shard），存储到多个节点。
单点故障问题： 将分片数据在不同节点备份（replica）

缺点是什么？ 造成资源的消耗的N倍的。

一、搭建ES集群

使用docker容器模拟ES的节点

1、一键启动文件 docker-compose.yml

version: '2.2'
services:
    es01:
        image: elasticsearch:7.12.1
        container_name: es01
        environment:
            - node.name=es01
            - cluster.name=es-docker-cluster
            - discovery.seed_hosts=es02,es03
            - cluster.initial_master_nodes=es01,es02,es03
            - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        volumes:
            - data01:/usr/share/elasticsearch/data
        ports:
            - 9200:9200
        networks:
            - elastic
    es02:
        image: elasticsearch:7.12.1
        container_name: es02
        environment:
            - node.name=es02
            - cluster.name=es-docker-cluster
            - discovery.seed_hosts=es01,es03
            - cluster.initial_master_nodes=es01,es02,es03
            - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        volumes:
            - data02:/usr/share/elasticsearch/data
        ports:
            - 9201:9200
        networks:
            - elastic
    es03:
        image: elasticsearch:7.12.1
        container_name: es03
        environment:
            - node.name=es03
            - cluster.name=es-docker-cluster
            - discovery.seed_hosts=es01,es02
            - cluster.initial_master_nodes=es01,es02,es03
            - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
        volumes:
            - data03:/usr/share/elasticsearch/data
        ports:
            - 9202:9200
        networks:
            - elastic

volums:
    data01:
        driver: local
    data02:
        driver: local
    data03:
        driver: local

networks:
    elastic:
        driver: bridge

2、更改linux系统权限 /etc/sysctl.conf，并启动docker

# command
vi /etc/sysctl.conf

#添加内容
vm.max_map_count=262144

#执行命令，完成配置
sysctl -p

#一键部署docker
docker-compose up -d

效果图
在这里插入图片描述

3、利用cerebro监控es集群状态

kibana当然可以监控es集群，但新版本需要依赖es的 x-pack 功能，配置较为复杂。
所以我们使用cerebro监控es集群，官网：https://github.com/lmenezes/cerebro

使用的是 cerebro-0.9.4

开启 cerebro：双击/bin/cerebro.bat 即可。

访问localhost:9000

在这里插入图片描述

我们可以输入任意一个ES地址，例如虚拟机IP:9200

在这里插入图片描述

4、创建索引库

方式一：kibana的DevTools创建索引库

PUT /zengoo
{
	"settings": {
		"number_of_shards": 3,	#	分片数量
		"number_of_replicas": 1	#	副本数量
	},
	"mappings":	{
		"properties":	{
			//..mapping映射的定义
		}
	}
}

方式二：利用cerebro创建索引

在这里插入图片描述

二、集群脑裂问题

（一）ES集群的节点角色

节点类型	配置参数	默认值	节点职责
master-eligible	node.master	true	备选主节点主节点可以管理和记录集群状态决定分片在哪个节点处理创建和删除索引库的请求
data	node.data	true	数据节点：存储数据、搜索、聚合、CRUD
ingest	node.ingest	true	数据存储之前的预处理
coordinating	上面三个都为false则为coordinating节点	无	路由请求到其它节点合并其它节点处理的结果，返回用户