【ElasticSearch7.X】学习笔记（三）

news2024/9/20 14:55:40

【ElasticSearch7.X】学习笔记

  • 五、集群部署
    • 5.1、相关概念
      • 5.1.1、集群 Cluster
      • 3.1.2、节点 Node
    • 5.2、下载安装
    • 5.3、 启动
    • 5.4、 测试
  • 六、进阶
    • 6.1、核心概念
      • 6.1.1、索引（Index）
      • 6.1.2、类型（Type）
      • 6.1.3、文档（Document）
      • 6.1.4、字段（Field）
      • 6.1.5、映射（Mapping）
      • 6.1.6、分片（Shards）
      • 6.1.7、副本（Replicas）
      • 6.1.8、分配（Allocation）
    • 6.2、分布式集群
      • 6.2.1、集群分片与副本
      • 6.2.2、吞吐
      • 6.2.3、故障
      • 6.2.5、路由计算、分片控制
    • 2.7、数据流程
      • 6.7.1、写流程
      • 6.7.2、读流程
      • 6.7.3、 更新流程
      • 6.7.4、 多文档操作流程
    • 6.8、 倒排索引
  • 七、Kibana可视化

五、集群部署

5.1、相关概念

5.1.1、集群 Cluster

一个集群就是由一个或多个服务器节点组织在一起，共同持有整个的数据，并一起提供索引和搜索功能。一个 Elasticsearch 集群有一个唯一的名字标识，这个名字默认就是”elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。

3.1.2、节点 Node

集群中包含很多服务器，一个节点就是其中的一个服务器。作为集群的一部分，它存储
数据，参与集群的索引和搜索功能

一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于 Elasticsearch 集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

5.2、下载安装

除了elasticsearch-7.8.0/config/elasticsearch.yml 不一样 其他的单机部署一样

单机部署教程

elasticsearch.yml

#集群名称
cluster.name: elk
#节点名称，每个节点的名称不能重复
node.name: master
#ip 地址，每个节点的地址不能重复
network.host: master
# 日志数据路径　　　　　　　　　 
path.data: /usr/soft/elasticsearch/data
# 日志路径　　　　　　 
path.logs: /usr/soft/elasticsearch/logs
# 是否开始内存交换   
bootstrap.memory_lock: false
#是不是有资格主节点
node.master: true
node.data: true
http.port: 9200
# head 插件需要这打开这两个配置
http.cors.allow-origin: "*"
http.cors.enabled: true
http.max_content_length: 200mb
#es7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举 master
cluster.initial_master_nodes: ["master"]
#es7.x 之后新增的配置，节点发现
discovery.seed_hosts: ["master:9300","slave1:9300","slave2:9300"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是 2 个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认 4 个
cluster.routing.allocation.node_concurrent_recoveries: 16
#初始化数据恢复时，并发恢复线程的个数，默认 4 个
cluster.routing.allocation.node_initial_primaries_recoveries: 16

5.3、 启动

#在不同服务器上执行
#切换成elkb用户
su elkb
#进入bin目录下执行
./elasticsearch

5.4、 测试

输入网址 http://192.168.3.34:9200/_cat/nodes
在这里插入图片描述

六、进阶

6.1、核心概念

6.1.1、索引（Index）

能搜索的数据必须索引，这样的好处是可以提高查询速度，比如：新华字典前面的目录就是索引的意思，目录可以提高查询速度。

Elasticsearch 索引的精髓：一切设计都是为了提高搜索的性能

6.1.2、类型（Type）

一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。不同的版本，类型发生了不同的变化

版本Type
5.x支持多种 type
6.x只能有一种 type
7.x默认不再支持自定义索引类型（默认类型为：_doc）

6.1.3、文档（Document）

一个文档是一个可被索引的基础信息单元，也就是一条数据

文档以 JSON（Javascript Object Notation）格式来表示，而 JSON 是一个到处存在的互联网数据交互格式。

在一个 index/type 里面，你可以存储任意多的文档。

6.1.4、字段（Field）

相当于是数据表的字段，对文档数据根据不同属性进行的分类标识

6.1.5、映射（Mapping）

mapping 是处理数据的方式和规则方面做一些限制，如：某个字段的数据类型、默认值、分析器、是否被索引等等。这些都是映射里面可以设置的，其它就是处理 ES 里面数据的一些使用规则设置也叫做映射，按着最优规则处理数据对性能提高很大，因此才需要建立映射，并且需要思考如何建立映射才能对性能更好。

6.1.6、分片（Shards）

一个索引可以存储超出单个节点硬件限制的大量数据。比如，一个具有 10 亿文档数据的索引占据 1TB 的磁盘空间，而任一节点都可能没有这样大的磁盘空间。或者单个节点处理搜索请求，响应太慢。为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，每一份就称之为分片。当你创建一个索引的时候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上。

分片很重要，主要有两方面的原因：
1）允许你水平分割 / 扩展你的内容容量。
2）允许你在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量。

6.1.7、副本（Replicas）

在一个网络 / 云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch 允许你创建分片的一份或多份拷贝，这些拷贝叫做复制分片(副本)

6.1.8、分配（Allocation）

将分片分配给某个节点的过程，包括分配主分片或者副本。如果是副本，还包含从主分片复制数据的过程。这个过程是由 master 节点完成的。

6.2、分布式集群

6.2.1、集群分片与副本

创建索引

{
	"settings" : {
		 "number_of_shards" : 3, //主分片(每个主分片拥有一个副本分片)
		 "number_of_replicas" : 1 //副本
	}
}

在这里插入图片描述
在这里插入图片描述

6.2.2、吞吐

但是如果我们想要扩容超过 6 个节点怎么办呢？

主分片的数目在索引创建时就已经确定了下来。实际上，这个数目定义了这个索引能够存储 的最大数据量。（实际大小取决于你的数据、硬件和使用场景。） 但是，读操作——搜索和返回数据——可以同时被主分片 或 副本分片所处理，所以当你拥有越多的副本分片时，也将拥有越高的吞吐量。

PUThttp://192.168.3.34:9200/users/_settings

//更改副本数
"number_of_replicas" : 2

在这里插入图片描述
在这里插入图片描述

6.2.3、故障

关闭一个主节点。而集群必须拥有一个主节点来保证正常工作，所以发生的第一件事情就是选举一个新的主节点： slave2 。在我们关闭 slave1 的同时也失去了主分片，并且在缺失主分片的时候索引也不能正常工作。 如果此时来检查集群的状我们看到的状态将会为 yellow：不是所有主分片都在正常工作

在这里插入图片描述

6.2.5、路由计算、分片控制

路由计算:hash( id ) %主分片数量

分片控制:用户可以访问任何一个节点获取数据，这个节点称之为协调节点【一般是轮询】

2.7、数据流程

6.7.1、写流程

新建、索引和删除 请求都是写操作， 必须在主分片上面完成之后才能被复制到相关的副本分片

新建，索引和删除文档所需要的步骤顺序：

  1. 客户端向 Node 1 发送新建、索引或者删除请求。
  2. 节点使用文档的 _id 确定文档属于分片 0 。请求会被转发到 Node 3，因为分片 0 的主分片目前被分配在 Node 3 上。
  3. Node 3 在主分片上面执行请求。如果成功了，它将请求并行转发到 Node 1 和 Node 2 的副本分片上。一旦所有的副本分片都报告成功, Node 3 将向协调节点报告成功，协调节点向客户端报告成功。
参数含义
consistency一致性。consistency 参数的值可以设为 one （只要主分片状态 ok 就允许执行写操作）,all（必须要主分片和所有副本分片的状态没问题才允许执行写操作）, 或quorum 。默认值为 quorum , 即大多数的分片副本状态没问题就允许执行写操作。规定数量：int( (primary + number_of_replicas) / 2 ) + 1

6.7.2、读流程

从主分片或者副本分片检索文档的步骤顺序：

  1. 客户端向 Node 1 发送获取请求。
  2. 节点使用文档的 _id 来确定文档属于分片 0 。分片 0 的副本分片存在于所有的三个
    节点上。 在这种情况下，它将请求转发到 Node 2 。
  3. Node 2 将文档返回给 Node 1 ，然后将文档返回给客户端。在处理读取请求时，协调结点在每次请求的时候都会通过轮询所有的副本分片来达到负载均衡。在文档被检索时，已经被索引的文档可能已经存在于主分片上但是还没有复制到副本分片。 在这种情况下，副本分片可能会报告文档不存在，但是主分片可能成功返回文档。 一旦索引请求成功返回给用户，文档在主分片和副本分片都是可用的

6.7.3、 更新流程

部分更新一个文档的步骤如下：

  1. 客户端向 Node 1 发送更新请求。
  2. 它将请求转发到主分片所在的 Node 3 。
  3. Node 3 从主分片检索文档，修改 _source 字段中的 JSON ，并且尝试重新索引主分片
    的文档。如果文档已经被另一个进程修改，它会重试步骤 3 ，超过 retry_on_conflict 次
    后放弃。
  4. 如果 Node 3 成功地更新文档，它将新版本的文档并行转发到 Node 1 和 Node 2 上的
    副本分片，重新建立索引。一旦所有副本分片都返回成功， Node 3 向协调节点也返回
    成功，协调节点向客户端返回成功。

6.7.4、 多文档操作流程

用单个 mget 请求取回多个文档所需的步骤顺序:

  1. 客户端向 Node 1 发送 mget 请求
  2. Node 1 为每个分片构建多文档获取请求，然后并行转发这些请求到托管在每个所需的
    主分片或者副本分片的节点上。一旦收到所有答复， Node 1 构建响应并将其返回给客
    户端。

bulk API 允许在单个批量请求中执行多个创建、索引、删除和更新请求。

bulk API 按如下步骤顺序执行：

  1. 客户端向 Node 1 发送 bulk 请求。
  2. Node 1 为每个节点创建一个批量请求，并将这些请求并行转发到每个包含主分片的节
    点主机。
  3. 主分片一个接一个按顺序执行每个操作。当每个操作成功时，主分片并行转发新文档（或
    删除）到副本分片，然后执行下一个操作。 一旦所有的副本分片报告所有操作成功，
    该节点将向协调节点报告成功，协调节点将这些响应收集整理并返回给客户端

6.8、 倒排索引

Elasticsearch 使用一种称为倒排索引的结构，它适用于快速的全文搜索。

见其名，知其意，有倒排索引，肯定会对应有正向索引。正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。所谓的正向索引，就是搜索引擎会将待搜索的文件都对应一个文件 ID，搜索时将这个ID 和搜索关键字进行对应，形成 K-V 对，然后对关键字进行统计计数

将正向索引重新构建为倒排索引，即把文件ID对应到关键词的映射转换为关键词到文件ID的映射，每个关键词都对应着一系列的文件，这些文件中都出现这个关键词。

七、Kibana可视化

Kibana 是一个免费且开放的用户界面，能够让你对 Elasticsearch 数据进行可视化，并让你在 Elastic Stack 中进行导航。你可以进行各种操作，从跟踪查询负载，到理解请求如何流经你的整个应用，都能轻松完成。

官网
配套本文的Kibana下载地址

将上传的压缩包上传到服务器上
解压

tar -zxvf kibana-7.8.0-linux-x86_64.tar.gz

修改 config/kibana.yml 文件

# 默认端口
server.port: 5601
# ip
server.host: 192.168.3.34
# ES 服务器的地址
elasticsearch.hosts: ["http://192.168.3.34:9200"]
# 索引名
kibana.index: ".kibana"
# 支持中文
i18n.locale: "zh-CN"

到bin目录下执行

./kibana 
# kibana 不支持root用户启动 如果想root用户启动使用下面语句
./kibana --allow-root

测试访问
http://192.168.3.34:5601/
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/139083.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Handler的学习

Handler的学习

一、Handler到底有什么用呢？ 首先看以下案例： public class MainActivity extends AppCompatActivity { Button btn;Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activi…
阅读更多...
vue这些原理你都知道吗？(面试版)

vue这些原理你都知道吗？(面试版)

前言 在之前面试的时候我自己也经常会遇到一些vue原理的问题, 我也总结了下自己的经常的用到的,方便自己学习,今天也给大家分享出来, 欢迎大家一起学习交流, 有更好的方法欢迎评论区指出, 后序我也将持续整理总结~ 描述 Vue 与 React 区别 说明概念: vue:是一套用于构建用户…
阅读更多...
虚拟化技术学习笔记3

虚拟化技术学习笔记3

1、KVM虚拟机管理工具部署 学习目标： 能够为KVM虚拟机管理工具部署准备环境 能够部署KVM虚拟机管理工具 1、KVM系统需求： 1）Host system requirements: 1核心、2G内存、6G硬盘 2）KVM hypervisor requirements： l…
阅读更多...
U3D客户端框架（资源管理篇）之主资源加载器模块设计实现

U3D客户端框架（资源管理篇）之主资源加载器模块设计实现

一、主资源加载器模块设计实现 作用 主资源加载器是为面向用户而设计的上层应用层类，用户使用主资源加载器作为文件加载器加载文件， 加载器可以通过Assetbundle方式加载，Http方式加载资源。 UML类图设计 前置模块 主资源加载器需要引用到一…
阅读更多...
Qt扫盲-QHash理论总结

Qt扫盲-QHash理论总结

QHash理论总结一、概述二、使用1. 添加 元素2. 获取元素3. 遍历元素4. 删除元素5. qHash()的散列函数6.算法复杂性一、概述 QHash是Qt的通用容器类之一。它和QMap一样是用来存储(键，值)对的工具，并提供快速查找与键相关联的值的功能。 QHash提供了与QMa…
阅读更多...
密码学的一些常识01

密码学的一些常识01

序 作为一个小白，对称加密，非对称加密，数字签名，数字证书，CA，diff-helman，DES,AED,RSA……这些都不会。所以，百度启动，先初步了解。 实际应用 我是个小白……0基础的&…
阅读更多...
sklearn中精确率、召回率及F1值得micro，macro及weighted算法

sklearn中精确率、召回率及F1值得micro，macro及weighted算法

为什么要用精确率和召回率 有这样一个训练集，1000个人参加了结直肠癌CRC的检测，实际有0.5%的人得了CRC（即5个人）。用神经网络算法得到检测这样一个训练集能达到99%的准确率。从数值上判断该算法是不错的，因为只有1%的误…
阅读更多...
springboot+disruptor再体验

springboot+disruptor再体验

Disruptor是一个高性能队列，常见的还有kafka、rabbitmq等，下面体验一下~ 1、Disruptor简介 Disruptor 是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的…
阅读更多...
[C++]STL之string的模拟实现

[C++]STL之string的模拟实现

上一章我们对string的常见接口及使用进行了讲解，接下来我们将对一些常见的接口，包括构造函数，析构函数，运算符重载等等进行模拟实现.方便我们理解string接口实现的原理. 在讲解之前先说一下string的成员变量. 首先是字符串内容_…
阅读更多...
微信小程序picker组件遇到的问题以及解决办法

微信小程序picker组件遇到的问题以及解决办法

一、picker基本概念二、遇到的问题三、如何解决四、延伸五、效果图一、picker基本概念 先来看一下官方文档中picker的基本概念： 从底部弹起的滚动选择器，现支持三种选择器，通过mode来区分，分别是普通选择器，时间选择器…
阅读更多...
Bochs下载安装

Bochs下载安装

文章目录下载Bochs配置BochsBochs Bochs是一个x86硬件平台的开源模拟器。它可以模拟各种硬件的配置。Bochs模拟的是整个PC平台，包括I/O设备、内存和BIOS。更为有趣的是，甚至可以不使用PC硬件来运行Bochs。事实上，它可以在任何编译运行Bochs的…
阅读更多...
【Unity3D编辑器扩展】Unity3D中实现Text的字体的替换

【Unity3D编辑器扩展】Unity3D中实现Text的字体的替换

推荐阅读 CSDN主页GitHub开源地址Unity3D插件分享简书地址我的个人博客 大家好，我是佛系工程师☆恬静的小魔龙☆，不定时更新Unity开发技巧，觉得有用记得一键三连哦。 一、前言 在开发中会遇到要将场景中的Text的字体全部替换的情况。 所以…
阅读更多...
NetInside网络分析帮您解决系统性能问题（一）

NetInside网络分析帮您解决系统性能问题（一）

前言 某大学信息中心负责人表示，有用户反馈，在通过VPN访问某一IP的80端口时连接时断时续。同时信息中心给到的信息是通过VPN：XXX.XXX.253.5访问IP地址XXX.XXX.130.200的80端口出现访问时断时续问题。 需要通过分析系统看一下实际情况&#…
阅读更多...
云原生周刊 | 人类、机器人与 Kubernetes

云原生周刊 | 人类、机器人与 Kubernetes

近日 Grafana 官网发表了一篇博客介绍了 2022 年比较有意思、脑洞大开的一些 Grafana 使用案例，比如监控特斯拉 Model 3 的充电状态、OTA 更新状况等等。 海事技术供应商 Royal IHC 利用 Grafana 展示客户船队的关键性能指标，例如燃料消耗、服务时间、大…
阅读更多...
Allegro174版本新功能介绍之打开坐标超链接功能

Allegro174版本新功能介绍之打开坐标超链接功能

Allegro174版本新功能介绍之打开坐标超链接功能 Allegro在升级到174的时候默认打开时，报表中的坐标是不带超链接的，如下图 直接点击坐标，是无法自动跳转到坐标所在位置的 但是Allegro174是开放了打开超链接的功能的，具体操作如下 选择Setup选择User Preferences
阅读更多...
【 Vue3 + Vite + setup语法糖 + Pinia + VueRouter + Element Plus 第一篇】(持续更新中)

【 Vue3 + Vite + setup语法糖 + Pinia + VueRouter + Element Plus 第一篇】(持续更新中)

【 Vue3 Vite setup语法糖 Pinia VueRouter Element Plus 第一篇】(持续更新中) 1.使用 Vite脚手架创建 Vue3 项目 终端输入命令 npm create vite 项目名选择 Vue项目并回车根据自己的爱好，选择配置即可 2. 开启 Network 访问地址 npm run dev后 提示 use -…
阅读更多...
磨金石教育||商业插画的发展现状如何？学习插画可以月入过万吗？

磨金石教育||商业插画的发展现状如何？学习插画可以月入过万吗？

商业插画是什么？现如今，商业插画已经在生活中随处可见。你买的所有带包装的产品，上面的各种有趣的产品插图，就是插画师做的产品插画。特别是一些零食类的产品，在包装箱上，我们常可以看到各种大眼睛拟人化的…
阅读更多...
电脑出现0xc00000e9错误代码的解决方法

电脑出现0xc00000e9错误代码的解决方法

每当假期结束回来，经常发现Windows系统的电脑一段时间不开机，开机就出现0xc00000e9的错误代码。为什么明明没有任何操作却出现错误呢？驱动人生带大家一文了解。 出现0xc00000e9错误代码的原因 先来了解一下电脑出现0xc00000e9错误代码的主要…
阅读更多...
数字孪生架构

数字孪生架构

很多同学对数字孪生特别感兴趣，经常有同学问我：数据孪生系统怎么做？有没有教程？除了Unity开发，开发数字孪生还需要掌握什么技能？有人介绍了一个数字孪生的外包，从来没做过，能不能接&…
阅读更多...
Spring 中常用的几个工具类

Spring 中常用的几个工具类

AnnotatedElementUtils 类 获取某个类的某个方法上是否有标注注解，并可以通过其他 API 获取到这个类注解上的属性值，该工具类其他 API 下面截图可以查看。 public static boolean isBeanAnnotated(Method method) {return AnnotatedElementUtils.hasAn…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023