分布式搜索引擎ES-Elasticsearch进阶

news2024/9/21 5:33:00

1.head与postman基于索引的操作

引入概念：
集群健康：
green
所有的主分片和副本分片都正常运行。你的集群是100%可用
yellow
所有的主分片都正常运行，但不是所有的副本分片都正常运行。
red
有主分片没能正常运行。

查询es集群健康状态：
192.168.56.102:9200/_cluster/health
删除index:
在这里插入图片描述
创建index：
在这里插入图片描述
单个查询 get /index_temp：
在这里插入图片描述
查看所有索引：get /_cat/indices?v
在这里插入图片描述

2.mappings自定义创建映射

设置相应的数据结构：(mapping，就是定义数据的类型)
Index：false:表示不被识别，如果存放私密信息的时候设置为FALSE
在这里插入图片描述
text与keyword异同：
同：都是String
异：text大的文本，需要分词；keyword：精确匹配的搜索，微信号，手机号，QQ号等无需分词

创建索引的同时创建mapping

PUT     /index_str
{
    "mappings": {
        "properties": {
            "realname": {
            	"type": "text",
            	"index": true
            },
            "username": {
            	"type": "keyword",
            	"index": false
            }
        }
    }
}

为已经存在的索引创建mappings或者创建mappings

POST        /index_str/_mapping
{
    "properties": {
        "id": {
        	"type": "long"
        },
        "age": {
        	"type": "integer"
        },
        "nickname": {
            "type": "keyword"
        },
        "money1": {
            "type": "float"
        },
        "money2": {
            "type": "double"
        },
        "sex": {
            "type": "byte"
        },
        "score": {
            "type": "short"
        },
        "is_teenager": {
            "type": "boolean"
        },
        "birthday": {
            "type": "date"
        },
        "relationship": {
            "type": "object"
        }
    }
}

注：某个属性一旦被建立，就不能修改了，但是可以新增额外属性
主要数据类型
text, keyword, string
long, integer, short, byte
double, float
boolean
date
object
数组不能混，类型一致

字符串：text：文字类需要被分词倒排序索引的内容，比如：商品名称，商品详情，商品介绍
Keyword：不会被分词，不会被倒排序索引，直接匹配搜索，比如：订单状态，qq号等

3.mappings新增数据类型与analyze

查看分词效果：
GET /index_mapping/_analyze
{
“field”: “realname”,
“text”: “food is good”
}
尝试修改
POST /index_str/_mapping
{
“properties”: {
“name”: {
“type”: “long”
}
}
}

4.文档的基本操作-添加文档与自动映射

添加文档数据：
POST /my_doc/_doc/1 -> {索引名}/_doc/{索引ID}（是指索引在es中的id，而不是这条记录的id，比如记录的id从数据库来是1001，并不是这个。如果不写，则自动生成一个字符串。建议和数据id保持一致> ）

{
    "id": 1001,
    "name": "nly-1",
    "desc": "xhw is very good, 新华网非常牛！",
    "create_date": "2019-12-24"
}

{
    "id": 1002,
    "name": "nly-2",
    "desc": "xhw is fashion, 新华网非常时尚！",
    "create_date": "2019-12-25"
}

{
    "id": 1003,
    "name": "nly-3",
    "desc": "xhw is niubility, 新华网很好很强大！",
    "create_date": "2019-12-26"
}

{
    "id": 1004,
    "name": "nly-4",
    "desc": "xhw is good~！",
    "create_date": "2019-12-27"
}

{
    "id": 1005,
    "name": "nly-5",
    "desc": "新华网 is 强大！",
    "create_date": "2019-12-28"
}

{
    "id": 1006,
    "name": "nly-6",
    "desc": "新华网是一个强大网站！",
    "create_date": "2019-12-29"
}

{
    "id": 1007,
    "name": "nly-7",
    "desc": "新华网是很牛网站！",
    "create_date": "2019-12-30"
}

{
    "id": 1008,
    "name": "nly-8",
    "desc": "新华网是很好看！",
    "create_date": "2019-12-31"
}

{
    "id": 1009,
    "name": "nly-9",
    "desc": "在新华网学习很久！",
    "create_date": "2020-01-01"
}

使用_doc创建时无法创建mapping。
如何增加数据：
_doc：表示如何创建文档；1表示文档名称
创建数据：对应数据库中创建一条完成的数据
在这里插入图片描述
区别_id与id，id一般是数据来源，可能是数据库中的id，_id就是文档的id，索引库的主键
在这里插入图片描述

如果索引没有手动建立mappings，那么当插入文档数据的时候，会根据文档类型自动设置属性类型。这个就是es的动态映射，帮我们在index索引库中去建立数据结构的相关配置信息。
“fields”: {“type”: “keyword”}
对一个字段设置多种索引模式，使用text类型做全文检索，也可使用keyword类型做聚合和排序
“ignore_above” : 256
设置字段索引和存储的长度最大值，超过则被忽略

5.文档的基本操作-删除与修改

文档的删除不是立即删除，文档还是保存在磁盘上，索引增长越来越多，才会把那些曾经标识过删除的，进行清理，从磁盘上移出去。
删除：删除文档中的一条数据
DELETE /my_doc/_doc/1
修改：修改某一条数据中的一部分(不添加update也可以实现)
POST /my_doc/_doc/1/_update
{
“doc”: {
“name”: “慕课”
}
}
全量替换：替换一条完整的文档(数据)
PUT /my_doc/_doc/1
{
“id”: 1001,
“name”: “imooc-1”,
“desc”: “imooc is very good, 慕课网非常牛！”,
“create_date”: “2019-12-24”
}
注意：每次修改后，version会更改

6.文档的基本操作-查询

常规查询：
查询某条特定的数据：(1表示对应的_id是1)
GET /index_demo/_doc/1
查询索引中的全部数据
GET /index_demo/_doc/_search

元数据
_index：文档数据所属那个索引，理解为数据库的某张表即可。
_type：文档数据属于哪个类型，新版本使用_doc。
_id：文档数据的唯一标识，类似数据库中某张表的主键。可以自动生成或者手动指定。
_score：查询相关度，是否契合用户匹配，分数越高用户的搜索体验越高。
_version：版本号。
_source：文档数据，json格式。

定制结果集：查询想要的参数
GET /index_demo/_doc/1?_source=id,name
GET /index_demo/_doc/_search ?_source=id,name
判断文档是否存在：
HEAD /index_demo/_doc/1
使用此种方式的好处是：规范；方便，快捷(只需要code码就可)

7.文档乐观锁控制if_seq_no与if_primary_term

乐观锁(version字段实现，删除或者被修改后它的version是累加的)：
当一个共用数据，同时被几个用户或者线程并发的进行操作，
它会和它的版本号进行对比。版本号匹配更新，否则不更新
老版更新方式：
post:192.168.56.102:9200/my_doc/_doc/2001?version=2
{
“doc”: {
“name”: “慕课111”
}
}
查询对应的数值：
在这里插入图片描述
使用if_seq_no与if_primary_term进行更新的时候，同时会将下次的
if_seq_no(累加)与if_primary_term(不变)数值返回出来
在这里插入图片描述
当下版本的乐观锁控制需要使用if_seq_no与if_primary_term，使用在请求体中
字段中的“_seq_no”与“_primary_term”代表的是新的版本号

版本元数据
_seq_no：文档版本号，作用同_version（相当于学生编号，每个班级的班主任为学生分配编号，效率要比学校教务处分配来的更加高效，管理起来更方便）
_primary_term：文档所在位置（相当于班级）

8.分词与内置分词器

分词中文不识别。
全局分析：展现的是对于text文本内容的分词
POST /_analyze
{
“analyzer”: “standard”,
“text”: “text文本”
}
使用现有索引库：
POST /my_doc/_analyze
{
“analyzer”: “standard”,
“field”: “name”,
“text”: “text文本”
}
上面两种结果在简单的测试中，看起来没有多大区别；

es内置分词器
standard：默认分词，单词会被拆分，大小会转换为小写。

simple：按照非字母分词。大写转为小写。

whitespace：按照空格分词。忽略大小写。

stop：去除无意义单词，比如the/a/an/is…

keyword：不做分词。把整个文本作为一个单独的关键词。
非字母分词表示：不是字母会将其去除。
{
“analyzer”: “standard”,
“text”: “My name is Peter Parker,I am a Super Hero. I don’t like the Criminals.”
}

9建立IK中文分词器

安装IK分词器：(问题：遇到了-bash: unzip: 未找到命令的问题，重新定义安装就可)
Yum -y install unzip zip：安装unzip
unzip elasticsearch-analysis-ik-7.4.2.zip -d /usr/local/elasticsearch-7.4.2/plugins/ik
POST /_analyze
{
“analyzer”: “ik_max_word”,
“text”: “上下班车流量很大”
}
在这里插入图片描述
在这里插入图片描述

10.自定义中文词库

建立自定义词汇
在es/plugins/ik/config
vim custom.dic
添加内容：
新华网
骚年
配置自定义词典：
custom.dic
重启测试：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1934852.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

PyQt5中pyqtgraph鼠标获取坐标

PyQt5中pyqtgraph鼠标获取坐标

PyQt5中pyqtgraph鼠标获取坐标 1、效果 2、流程 安装库： pip install numpy==1.19.5 pip install PyQt5==5.15.9 pip install pyqtgraph==0.11.11、创建一个ui 2、在ui中添加一个Vertical Layout控件，命名为my_view 3、把ui转成py 4、绑定鼠标移动事件 5、x,y值向下取整 6…
阅读更多...
Linux下vim编辑器的使用方法

Linux下vim编辑器的使用方法

Vim编辑器 vim kk 使用vim来创建或编辑 kk文件 一般模式下的操作 x 为向后删除一个字符 nx 连续向后删除n个字符 dd 删除光标所在行 ndd 删除光标所在的向下n行 yy 复制光标所在的那一行 nyy 复制光标所在的向下n列 p 将已复制的数据在光标下一行粘贴上 P 则为贴在光标的上一…
阅读更多...
vscode 中python 支持自动跳转

vscode 中python 支持自动跳转

随笔记录 目录 1. 背景介绍 2. 解决方案 1. 背景介绍 vscode 远程ssh 打开python 脚本无法自动跳转 2. 解决方案 安装python 插件即可。 至此，已完成vscode 上py 文件支持自动跳转功能
阅读更多...
如何获得Cesium的TileSet并设置本地服务器的Url

如何获得Cesium的TileSet并设置本地服务器的Url

一.总体思路 首先使用管理者获得TileSet，通过JSON文件读写，调用对应的Cesium内部提供的函数。 UE5中Json文件的读取与解析 - 知乎 (zhihu.com) 不太了解JSON的可以学习这个。 二.具体实现 1.创建Actor,并且 如何获得Cesium的TileSet,设置本地Url 一…
阅读更多...
鸿蒙Navigation路由能力汇总

鸿蒙Navigation路由能力汇总

基本使用步骤： 1、新增配置文件router_map： 2、在moudle.json5中添加刚才新增的router_map配置： 3、使用方法： 属性汇总： https://developer.huawei.com/consumer/cn/doc/harmonyos-references/ts-basic-compone…
阅读更多...
Docker安装mysql详细教程， mysqld: Can‘t read dir of ‘/etc/mysql/conf.d/‘（已解决）

Docker安装mysql详细教程， mysqld: Can‘t read dir of ‘/etc/mysql/conf.d/‘（已解决）

文章目录 一、下载MySQL的docker镜像二、启动MySQL容器2.1 命令2.2 报错mysqld: Cant read dir of /etc/mysql/conf.d/ (Errcode: 2 - No such file or directory) 三、进入mysql容器四、修改mysql默认配置4.1 查看mysql挂载的文件夹4.2 mysql配置 五、补充 如果还没在虚拟机/服…
阅读更多...
41 QOS技术(服务质量)

41 QOS技术(服务质量)

1 QOS 产生背景 对于网络业务，影响服务质量的因素包括传输的带宽、传送的时延、数据的丢包率等。网络资源总是有限的，只要存在抢夺网络资源的情况，就会出现服务质量的要求网络总带宽固定的情况下，如果某类业务占用的带宽越多&am…
阅读更多...
redis server response timeout（3000ms） occurred after 3 retry attempts异常分析

redis server response timeout（3000ms） occurred after 3 retry attempts异常分析

读取redis数据报超时错误： Redis server response timeout (3000 ms) occured after 3 retry attempts2024-07-18 17:07:57.124 ERROR [e8f07b0a671c08311dff589827897232] [http-nio-9528-exec-6] c.z.i.u.m.c.e.BaspUserExceptionHandler.exceptionHandler:83 - R…
阅读更多...
【贪心算法】力扣1481.不同整数的最少数目

【贪心算法】力扣1481.不同整数的最少数目

给你一个整数数组 arr 和一个整数 k 。现需要从数组中恰好移除 k 个元素，请找出移除后数组中不同整数的最少数目。 示例 1： 输入：arr [5,5,4], k 1 输出：1 解释：移除 1 个 4 ，数组中只剩下 5 一种整数。…
阅读更多...
studio编译报错java.lang.NullPointerException

studio编译报错java.lang.NullPointerException

安卓studio编译报错，这个是一个新建的项目就报错，原因是 implementation androidx.appcompat:appcompat:1.7.0版本太高，修改后版本 implementation androidx.appcompat:appcompat:1.4.0， 编译又报错 18 issues were found wh…
阅读更多...
数学基础【俗说矩阵】：矩阵相乘

数学基础【俗说矩阵】：矩阵相乘

矩阵乘法 矩阵乘法推导过程 一、两个线性方程复合代入 二、X1和X2合并同类项 三、复合后方程组结果 四、线性方程组矩阵表示 五、线性方程组矩阵映射表示 复合映射表示 六、矩阵乘法导出 矩阵乘法法则 1、规则一推导过程 左取行，右取列，对应相乘后…
阅读更多...
maven内网依赖包编译报错问题的一种解决方法

maven内网依赖包编译报错问题的一种解决方法

背景 外网开发时可以连接互联网，所以编译没有什么问题，但是将数据库、代码、maven仓库全部拷贝到内网，搭建内网环境之后，编译失败。 此依赖包的依赖层级图 maven镜像库配置使用拷贝到内网的本地库，配置如下&#xff…
阅读更多...
数据结构（Java）：优先级队列(堆)堆的模拟实现

数据结构（Java）：优先级队列(堆)堆的模拟实现

目录 1、优先级队列 1.1 概念 1.2 PriorityQueue底层结构 2、 堆 2.1 堆的概念 2.2 堆的存储结构 3、优先级队列（堆）的模拟实现 3.1 堆的创建 3.1.1 向下调整算法建完整堆 3.2 堆的插入 3.2.1 向上调整算法 3.3 堆的删除 3.4 堆排序 1、优先…
阅读更多...
c语言题目之打印单身狗

c语言题目之打印单身狗

文章目录 一、题目二、思路三、代码实现 提示：以下是本篇文章正文内容，下面案例可供参考 一、题目 二、思路 第一步 首先这里先了解两个有关于位操作符异或的知识点 ，异或操作符的规则是相同为0，相异为1 。 通过上面我们可以得…
阅读更多...
AIGC前沿 | LivePortrait

AIGC前沿 | LivePortrait

0. 资源链接 论文超链接: LivePortrait 项目: https://github.com/KwaiVGI/LivePortrait 1. 背景动机 现有AIGC存在的问题 随着智能手机和其他录制设备的普及，人们越来越频繁地捕捉静态肖像来记录珍贵而美好的时刻，但这些静态图像缺乏动态表现力和实…
阅读更多...
docker默认存储地址 var/lib/docker 满了，换个存储地址操作流程

docker默认存储地址 var/lib/docker 满了，换个存储地址操作流程

1. 查看docker 存储地址 docker info如下 var/lib/docker2、查看内存大小 按需执行 df -h 找超过100M的大文件 find / -type f -size 100M -exec ls -lh {} \; df -Th /var/lib/docker 查找这个文件的容量 df -h 查找所有挂载点 du -hs /home/syy_temp/*1、df -h 2、sud…
阅读更多...
数据结构（单链表算法题）

数据结构（单链表算法题）

1.删除链表中等于给定值 val 的所有节点。 OJ链接 typedef struct ListNode ListNode;struct ListNode {int val;struct ListNode* next; };struct ListNode* removeElements(struct ListNode* head, int val) {//创建新链表ListNode* newhead, *newtail;newhead newtail N…
阅读更多...
视频联网共享平台LntonCVS视频监控汇聚平台视频云解决方案

视频联网共享平台LntonCVS视频监控汇聚平台视频云解决方案

LntonCVS流媒体平台是一款遵循国家GB28181标准协议的先进视频监控与云服务平台。该平台设计独特，能够同时接入并处理多路设备的视频流，支持包括RTSP、RTMP、FLV、HLS、WebRTC在内的多种视频流格式的分发。其功能丰富多样，涵盖了视频直播监控、…
阅读更多...
如何在Mac下修改VSCode侧边栏字体大小

如何在Mac下修改VSCode侧边栏字体大小

在日常使用VSCode（Visual Studio Code）进行开发时，我们有时需要对IDE（集成开发环境）的界面进行一些个性化的调整，以提升我们的开发体验。 比如，有些用户可能会觉得VSCode的侧边栏字体大小不符…
阅读更多...
国产麒麟、UOS在线打开pdf加盖印章

国产麒麟、UOS在线打开pdf加盖印章

PageOffice支持两种电子印章方案，可实现对Word、Excel、PDF文档加盖PageOffice自带印章或ZoomSeal电子印章（全方位保护、防篡改、防伪造）。Word和Excel的盖章功能请参考：Word和Excel加盖印章和签字功能 （目前只支持win…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023