44.ES

news2025/3/1 21:18:53

一、ES。

（1）es概念。

（1.1）什么是es。

（1.2）es的发展。

es是基于lucene写的。

（1.3）总结。

es是基于lucene写的。

（2）倒排索引。

（3）es与mysql的概念对比。

索引：对应数据表。

文档：对应数据表记录。

词条：一条数据表记录有若干词条。

（4）部署es、kibana、IK分词器。

（4.1）部署单点es。

（4.1.1）创建网络。

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络： 

docker network create es-net

（4.1.2）加载镜像。

这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。

大家将其上传到虚拟机中，然后运行命令加载即可：

docker load -i es.tar

同理还有kibana的tar包也需要这样做。

（4.1.3）运行es容器。

运行docker命令，部署单点es：

docker run -d \
    --name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

数据卷挂载提示：docker run -v <宿主机路径>:<容器路径> <镜像名称>

命令解释：

--e "cluster.name=es-docker-cluster"：设置集群名称
-e "http.host=0.0.0.0"：监听的地址，可以外网访问
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小
-e "discovery.type=single-node"：非集群模式
-v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录
-v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录
-v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录
--privileged：授予逻辑卷访问权
--network es-net ：加入一个名为es-net的网络中
-p 9200:9200：端口映射配置

在浏览器中输入：

http://192.168.150.101:9200

即可看到elasticsearch的响应结果。

（4.2）部署bibana。

（4.2.1）运行docker命令，部署kibana。

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

命令解释：

--network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中
-e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch
-p 5601:5601：端口映射配置

kibana启动一般比较慢，需要多等待一会，可以通过命令：

docker logs -f kibana

查看运行日志，当查看到下面的日志，说明成功：

此时，在浏览器输入地址访问（注意该IP地址）：

http://192.168.150.101:5601

即可看到结果

（4.2.2）DevTools。

点击Dev tools

kibana中提供了一个DevTools界面：

这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。

（4.3）安装IK分词器。

（4.3.1）在线安装ik插件（较慢）。 

# 进入容器内部
docker exec -it elasticsearch /bin/bash

# 在线下载并安装
./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

#退出
exit
#重启容器
docker restart elasticsearch

（4.3.2）离线安装ik插件（推荐）。

（4.3.2.1）查看数据卷目录。

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

提示：只要将ik分词器放到挂载到容器的主机挂载目录下就行，当时运行容器的时候挂载了：

-v es-plugins:/usr/share/elasticsearch/plugins 

显示结果：

[
    {
        "CreatedAt": "2022-05-06T10:06:34+08:00",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data 这个目录中。

（4.3.2.2）解压缩分词器安装包。

下面我们需要把课前资料中的ik分词器解压缩，重命名为ik

（4.3.2.3）上传到es容器的插件数据卷中。

也就是/var/lib/docker/volumes/es-plugins/_data ：

（4.3.2.4）重启容器。
# 4、重启容器
docker restart es

# 查看es日志
docker logs -f es
（4.3.2.5）测试。

IK分词器包含两种模式：

  • ik_smart：最少切分

  • ik_max_word：最细切分

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "黑马程序员学习java太棒了"
}

结果：

{
  "tokens" : [
    {
      "token" : "黑马",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "程序员",
      "start_offset" : 2,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "程序",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "员",
      "start_offset" : 4,
      "end_offset" : 5,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "学习",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "java",
      "start_offset" : 7,
      "end_offset" : 11,
      "type" : "ENGLISH",
      "position" : 5
    },
    {
      "token" : "太棒了",
      "start_offset" : 11,
      "end_offset" : 14,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "太棒",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "了",
      "start_offset" : 13,
      "end_offset" : 14,
      "type" : "CN_CHAR",
      "position" : 8
    }
  ]
}
（4.3.3.6）扩展词词典。

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“奥力给”，“传智播客” 等。

所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

2）在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
        <entry key="ext_dict">ext.dic</entry>
</properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

传智播客
奥力给

4）重启elasticsearch

docker restart es

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载ext.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "传智播客Java就业超过90%,奥力给！"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

（4.3.3.7）停用词词典。

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典-->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

3）在 stopword.dic 添加停用词

黑马

4）重启elasticsearch

# 重启服务
docker restart elasticsearch
docker restart kibana

# 查看 日志
docker logs -f elasticsearch

日志中已经成功加载stopword.dic配置文件

5）测试效果：

GET /_analyze
{
  "analyzer": "ik_max_word",
  "text": "传智播客Java就业率超过95%,奥力给！"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

（5）索引库操作（即表操作）。

（5.1）mapping映射属性。

（5.2）索引库的CRUD。

（5.2.1）创建索引库。

分词器只对text类型的数据分词。（不分词代表整个内容就是一个词条，分词就是整个内容可能超过一个词条）。

index约束如果为真，则参与倒排索引，否则不参与倒排索引（即不成为词条）。

PUT /itheima
{
  "mappings": {
    "properties": {
      "info": {
        "type": "text",
        "analyzer": "ik_smart"
      },
      "email": {
        "type": "keyword",
        "index": false
      },
      "name": {
        "type": "object",
        "properties": {
          "firstName": {
            "type": "keyword"
          },
          "lastName": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

（5.2.2）查看、删除索引库。

（5.2.3）修改索引库。

（5.2.4）索引库操作有哪些？ 

（6）文档操作。

（6.1）新增文档。

（6.2）查询、删除文档。

（6.3）修改文档。

注意：测试了一下，这也是全量修改。 

POST /itheima/_doc/1
{
  "info": "1黑马程序员java讲师",
  "email": "zy@itcast.cn",
  "name": {
    "firstName": "云",
    "lastName": "赵"
  }
}

（6.4）文档操作总结。

（7）RestClient操作索引库。

（7.1）初始化JavaRestClient、创建索引库。

（7.2）删除索引库、判断索引库是否存在。

（7.3）总结。

（8）RestClient操作文档。

（8.1）新增文档。

案例的mapping： 

# 酒店的mapping
PUT /hotel
{
  "mappings": {
    "properties": {
      "id": {
        "type": "keyword"
      },
      "name": {
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "address": {
        "type": "keyword",
        "index": false
      },
      "price": {
        "type": "integer"
      },
      "score": {
        "type": "integer"
      },
      "brand": {
        "type": "keyword"
      },
      "city": {
        "type": "keyword"
      },
      "starName": {
        "type": "keyword"
      },
      "business": {
        "type": "keyword"
      },
      "location": {
        "type": "geo_point"
      },
      "pic": {
        "type": "binary",
        "index": false
      }
    }
  }
}

（8.2）查询文档。

（8.3）修改文档。

 （8.4）删除文档。

（8.5）批量导入文档。

（8.6）总结。

（9）DSL查询文档。

（9.1）DSL查询分类。

（9.2）查询所有。

GET /hotel/_search
{
  "query": {
    "match_all": {}
  }
}

（9.3）全文检索查询。

GET /hotel/_search
{
  "query": {
    "match": {
      "business": "交大/闵行经济开发区"
    }
  }
}

GET /hotel/_search
{
  "query": {
    "multi_match": {
      "query": "上海滩",
      "fields": ["name","city","brand"]
    }
  }
}

（9.4）精准查询。

# term查询
GET /hotel/_search
{
  "query": {
    "term": {
      "city": {
        "value": "上海"
      }
    }
  }
}

# range查询
GET /hotel/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 100,
        "lte": 2000
      }
    }
  }
}

（9.5）地理坐标查询。

# 地理查询
GET /hotel/_search
{
  "query": {
    "geo_distance": {
      "distance": "150km",
      "location": "31.21,122.6"
    }
  }
}

（9.6）组合查询。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1086923.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

利用无线模拟量装置完成热电厂蒸汽流量远程采集

利用无线模拟量装置完成热电厂蒸汽流量远程采集

某数码影像材料制造集团生产目前主要消耗蒸汽和电能源&#xff0c;蒸汽用能情况较为复杂&#xff0c;需要用5公里的蒸汽管线将较远区域某热电厂的蒸汽接入厂内&#xff0c;每周专人巡查一次管线&#xff0c;部分蒸汽管线位置特别偏僻&#xff0c;不易出入。 为了监控蒸汽流量&…
阅读更多...
JAXB 使用记录 bean转xml xml转bean 数组 继承 CDATA（转义问题）

JAXB 使用记录 bean转xml xml转bean 数组 继承 CDATA（转义问题）

JAXB 使用记录 部分内容引自 https://blog.csdn.net/gengzhy/article/details/127564536 基础介绍 JAXBContext类&#xff1a;是应用的入口&#xff0c;用于管理XML/Java绑定信息 Marshaller接口&#xff1a;将Java对象序列化为XML数据 Unmarshaller接口&#xff1a;将XML数…
阅读更多...
基于JAVA SpringBoot和Vue小说在线听书网站设计

基于JAVA SpringBoot和Vue小说在线听书网站设计

摘要 移动互联网技术的不断发展&#xff0c;人们学习场景和支付习惯的不断变化&#xff0c;为知识支付的兴起提供了有利条件。知识支付逐渐成为人们弥补碎片化阅读习惯、获取知识的一种流行方式。知识付费市场日益扩大&#xff0c;在这波浪潮中&#xff0c;以喜马拉雅和知乎为首…
阅读更多...
5Spring及Spring系列-进阶

5Spring及Spring系列-进阶

8.1spring进阶 spring常用注解 1.Component 它是这些注解里面最普通的一个注解&#xff0c;一般用于把普通pojo实例化到spring容器中。 Controller和Service和Repository是它的特殊情况&#xff0c;当一个类不需要进行这几种特殊归类的时候&#xff0c;只是作为一个普通的类&am…
阅读更多...
【算法|双指针系列No.8】leetcode18. 四数之和

【算法|双指针系列No.8】leetcode18. 四数之和

个人主页&#xff1a;兜里有颗棉花糖 欢迎 点赞&#x1f44d; 收藏✨ 留言✉ 加关注&#x1f493;本文由 兜里有颗棉花糖 原创 收录于专栏【手撕算法系列专栏】【LeetCode】 &#x1f354;本专栏旨在提高自己算法能力的同时&#xff0c;记录一下自己的学习过程&#xff0c;希望…
阅读更多...
VSCode 使用 Vetur Format格式化的配置项

VSCode 使用 Vetur Format格式化的配置项

"vetur.format.options.tabSize": 4,"vetur.format.defaultFormatterOptions": {// for html"prettyhtml": {"wrapAttributes":false,//强制包装属性// "sortAttributes": true,//对属性按首字母排序// "bracketSpacin…
阅读更多...
Apache Tomcat下载安装配置使用超详细

Apache Tomcat下载安装配置使用超详细

下载安装 tomcat官网 在此我们以Tomcat 9.0.81为例&#xff0c;点击下载压缩包&#xff0c;解压到自己的文件夹。 tar.gz是linux操作系统下的安装版本。zip是windows系统下的压缩版本。Windows Service Installer是windows操作系统下的exe安装版本。 检查是否配置JDK 1.…
阅读更多...
Ubuntu 22.04.3 LTS单机私有化部署sealos

Ubuntu 22.04.3 LTS单机私有化部署sealos

推荐使用奇数台 Master 节点和若干 Node 节点操作系统 :Ubuntu 22.04 LTS内核版本 :5.4 及以上配置推荐 :CPU 4 核 , 内存 8GB, 存储空间 100GB 以上最小配置 :CPU 2 核 , 内存 4GB, 存储空间 60GB 这里采用的Ubuntu 22.04.3 LTS 版本&#xff0c;Ubuntu 20.04.4 LTS这个版本…
阅读更多...
JUC并发编程——JUC并发编程概述及Lock锁（重点）（基于狂神说的学习笔记）

JUC并发编程——JUC并发编程概述及Lock锁（重点）（基于狂神说的学习笔记）

基于bilibili狂神说JUC并发编程视频所做笔记 概述 什么是JUC JUC时java.util工具包中的三个包的简称 java.util.concurrent java.util.concurrent.atomic java.util.concurrent.locks 业务&#xff1a;普通的线程代码中&#xff0c;我们常使用Runnable接口 但Runnable没有返…
阅读更多...
如何将jpg转化为png？

如何将jpg转化为png？

如何将jpg转化为png&#xff1f;可能有的小伙伴就会疑惑了&#xff0c;jpg和png都是图片常用的一种格式&#xff0c;为什么要进行格式的更改呢&#xff1f;那是因为PNG格式具有更好的图片质量和更少的失真。JPG&#xff08;或JPEG&#xff09;格式的图片通常是压缩过的&#xf…
阅读更多...
C# OpenVINO 人脸识别

C# OpenVINO 人脸识别

效果 耗时 Preprocess: 1.41ms Infer: 4.38ms Postprocess: 0.03ms Total: 5.82ms 项目 代码 using OpenCvSharp; using Sdcb.OpenVINO; using System; using System.Collections.Generic; using System.Diagnostics; using System.Drawing; using System.Text; using Syste…
阅读更多...
ChatGPT再次成为焦点：学生放弃导师，改用ChatGPT自学

ChatGPT再次成为焦点：学生放弃导师，改用ChatGPT自学

据外媒报道&#xff0c;近日&#xff0c;知名高等教育规划平台 Intelligent.com 的一项 调查显示&#xff0c;学生和家长越来越喜欢使用 ChatGPT 而不是真人导师来进行学习了。 调查结果显示&#xff0c;学生对教育援助的看法发生了重大的转变。在最近的学年中&#xff0c;85% …
阅读更多...
解决yarn删除代理不成功的问题

解决yarn删除代理不成功的问题

之前yarn配了代理&#xff0c;但是速度不稳定&#xff0c;所以换成了淘宝源。 然后发现速度还是很慢&#xff0c;有一天忘了开代理&#xff0c;结果依赖完全不能下载了&#xff0c;报错&#xff1a;info There appears to be trouble with your network connection. Retrying.…
阅读更多...
WebSocket连接异常 Error parsing HTTP request header Connection reset by peer

WebSocket连接异常 Error parsing HTTP request header Connection reset by peer

问题描述 在使用spring的方式集成websocket时&#xff0c;在配置WebSocketConfigurer后 Configuration EnableWebSocket public class WebSocketConfiguration implements WebSocketConfigurer {ResourceServletWebSocketServerHandler servletWebSocketServerHandler;Overri…
阅读更多...
Android笔记（三）多Activity活动的切换中的简化处理

Android笔记（三）多Activity活动的切换中的简化处理

多Activity实现的跳转简单实现 Activity定义移动的界面。在本例中&#xff0c;介绍多个活动之间的切换的简化通用的实现。在本例中&#xff0c;定义三个活动MainActivity、FirstActivity和SecondActivity.要求能从MainActivity分别切换到FirstActivity和SecondActivity&#x…
阅读更多...
VMware _ Ubuntu _ root 密码是什么，怎么进入 root 账户

VMware _ Ubuntu _ root 密码是什么，怎么进入 root 账户

文章目录 进入 root 账户设置 root 密码小结 在 VMware 安装 ubuntu 虚拟机之后&#xff0c;root 用户的密码是什么&#xff1f;安装的过程也没有提示输入 root 用户的密码&#xff0c;只有创建第一个非 root 用户的密码。但是 root 用户是存在的&#xff0c;又怎么切换到 root…
阅读更多...
【面试高频题】难度 1/5，经典树的搜索（多语言）

【面试高频题】难度 1/5，经典树的搜索（多语言）

题目描述 这是 LeetCode 上的 「109. 有序链表转换二叉搜索树」 &#xff0c;难度为 「中等」 Tag : 「二叉树」、「树的搜索」、「分治」、「中序遍历」 给定一个单链表的头节点 head&#xff0c;其中的元素 按升序排序 &#xff0c;将其转换为高度平衡的二叉搜索树。 本题中&…
阅读更多...
Webpack和JShaman相比有什么不同？

Webpack和JShaman相比有什么不同？

Webpack和JShaman相比有什么不同&#xff1f; Webpack的功能是打包&#xff0c;可以将多个JS文件打包成一个JS文件。 JShaman专门用于对JS代码混淆加密&#xff0c;目的是让JavaScript代码变的不可读、混淆功能逻辑、加密代码中的隐秘数据或字符&#xff0c;是用于代码保护的…
阅读更多...
Android笔记（四）Activity之间传递可序列化的数据的优化处理

Android笔记（四）Activity之间传递可序列化的数据的优化处理

Activity之间传递可序列化的数据 Android应用开发会常常处理数据的序列化和传递。在Android中往往采用两种方式实现数据的可序列化&#xff1a;&#xff08;1&#xff09;实现java.io.Serializable接口&#xff08;2&#xff09;实现android.os.Parcelable接口。 将类定义为an…
阅读更多...
C++标准模板（STL）- 类型支持 (数值极限，is_modulo，digits，digits10)

C++标准模板（STL）- 类型支持 (数值极限，is_modulo，digits，digits10)

数值极限 定义于头文件 <limits> 定义于头文件 <limits> template< class T > class numeric_limits; numeric_limits 类模板提供查询各种算术类型属性的标准化方式&#xff08;例如 int 类型的最大可能值是 std::numeric_limits<int>::max() &…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023