Springcloud elasticsearch基础介绍

news2024/11/29 13:40:28

 哈喽~大家好，这篇来看看Springcloud elasticsearch基础介绍。

 🥇个人主页：个人主页​​​​​               

🥈 系列专栏： 【微服务】        

🥉与这篇相关的文章：              

SpringCloud Sentinel 使用SpringCloud Sentinel 使用_程序猿追的博客-CSDN博客_springcloud使用sentinel
将Nacos注册到springboot使用以及Feign实现服务调用将Nacos注册到springboot使用以及Feign实现服务调用_程序猿追的博客-CSDN博客_nacos springboot 服务调用
微服务介绍与 SpringCloud Eureka微服务介绍与 SpringCloud Eureka_程序猿追的博客-CSDN博客

目录

一、前言

1、介绍

2、作用

3、技术栈

二、索引

1、正向索引

2、倒排索引

3、优缺点

三、概念

1、文档和字段

2、索引和映射

3、mysql与elasticsearch

四、安装

1、创建网络

2、命令解释

五、kibana

1、部署

2、IK分词器

3、解析

4、停用词词典

一、前言

1、介绍

Elasticsearch（简称ES）是一个基于Apache Lucene(TM)的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

2、作用

elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。

eg：在GitHub搜索代码，在电商网站搜索商品，在百度搜索答案，在打车软件搜索附近的车等

3、技术栈

elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域：

而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。

 

elasticsearch底层是基于lucene来实现的。

Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：Apache Lucene - Welcome to Apache Lucene 。

二、索引

1、正向索引

那么什么是正向索引呢？例如给下表（tb_goods）中的id创建索引：

 

如果是根据id查询，那么直接走索引，查询速度非常快。

但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：

1）用户搜索数据，条件是title符合"%手机%"

2）逐行获取数据，比如id为1的数据

3）判断数据中的title是否符合用户搜索条件

4）如果符合则放入结果集，不符合则丢弃。回到步骤1

逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。

2、倒排索引

倒排索引中有两个非常重要的概念：

 文档（Document）：用来搜索的数据，其中的每一条数据就是一个文档。例如一个网页、一个商品信息

 词条（Term）：对文档数据或用户搜索数据，利用某种算法分词，得到的具备含义的词语就是词条。例如：我是中国人，就可以分为：我、是、中国人、中国、国人这样的几个词条

创建倒排索引是对正向索引的一种特殊处理，流程如下：

 将每一个文档的数据利用算法分词，得到一个个词条

 创建表，每行数据包括词条、词条所在文档id、位置等信息

 因为词条唯一性，可以给词条创建索引，例如hash表结构索引

如图： 

  

倒排索引的搜索流程如下（以搜索"华为手机"为例）：

1）用户输入条件"华为手机"进行搜索。

2）对用户输入内容分词，得到词条：华为、手机。

3）拿着词条在倒排索引中查找，可以得到包含词条的文档id：1、2、3。

4）拿着文档id到正向索引中查找具体文档。

如图：

 

虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。

3、优缺点

正向索引

 优点：可以给多个字段创建索引根据索引字段搜索、排序速度非常快

 缺点：根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

 倒排索引

 优点：根据词条搜索、模糊搜索时，速度非常快

 缺点：只能给词条创建索引，而不是字段 、无法根据字段做排序

三、概念

1、文档和字段

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

 

而Json文档中往往包含很多的字段（Field），类似于数据库中的列。

2、索引和映射

索引（Index），就是相同类型的文档的集合。

例如：

 所有用户文档，就可以组织在一起，称为用户的索引；

 所有商品的文档，可以组织在一起，称为商品的索引；

 所有订单的文档，可以组织在一起，称为订单的索引；

 

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

3、mysql与elasticsearch

我们统一的把mysql与elasticsearch的概念做一下对比：

MySQLElasticsearch说明
TableIndex索引(index)，就是文档的集合，类似数据库的表(table)
RowDocument文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式
ColumnField字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）
SchemaMappingMapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）
SQLDSLDSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

是不是说，我们学习了elasticsearch就不再需要mysql了呢？

并不是如此，两者各自有自己的擅长支出：

 Mysql：擅长事务类型操作，可以确保数据的安全和一致性

 Elasticsearch：擅长海量数据的搜索、分析、计算

因此在企业中，往往是两者结合使用：

 对安全性要求较高的写操作，使用mysql实现

 对查询性能要求较高的搜索需求，使用elasticsearch实现

 两者再基于某种方式，实现数据的同步，保证一致性

 

四、安装

1、创建网络

因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：

docker network create es-net

上传镜像的tar包并加载

docker load -i es.tar

运行docker命令，部署单点es：

docker run -d \
    --name es \
    -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
    -e "discovery.type=single-node" \
    -v es-data:/usr/share/elasticsearch/data \
    -v es-plugins:/usr/share/elasticsearch/plugins \
    --privileged \
    --network es-net \
    -p 9200:9200 \
    -p 9300:9300 \
elasticsearch:7.12.1

2、命令解释

​​​​​​​

 -e "cluster.name=es-docker-cluster"：设置集群名称

 -e "http.host=0.0.0.0"：监听的地址，可以外网访问

 -e "ES_JAVA_OPTS=-Xms512m -Xmx512m"：内存大小

 -e "discovery.type=single-node"：非集群模式

 -v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录

 -v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录

 -v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录

 --privileged：授予逻辑卷访问权

 --network es-net ：加入一个名为es-net的网络中

 -p 9200:9

浏览器输入http://192.168.71.133:9200/，有下图结果，表示成功

 

五、kibana

kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。

1、部署

运行docker命令，部署kibana

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601  \
kibana:7.12.1

  --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一个网络中

 -e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch

 -p 5601:5601：端口映射配置

浏览器输入http://192.168.71.133:5601/，有下图结果，表示成功

 

2、IK分词器

安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过下面命令查看:

docker volume inspect es-plugins

显示结果：

[
    {
        "CreatedAt": "XXXXXXXXXX",
        "Driver": "local",
        "Labels": null,
        "Mountpoint": "/var/lib/docker/volumes/es-plugins/_data",
        "Name": "es-plugins",
        "Options": null,
        "Scope": "local"
    }
]

说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data这个目录中。

将下载好的ik上传到/var/lib/docker/volumes/es-plugins/_data目录下

# 重启容器

docker restart es

测试一下

在 Dev Tools里面输入

POST /_analyze
{
  "text": "阿萨德鸡你太美啊实打实多",
  "analyzer": "ik_max_word"
}

右侧结果

{
  "tokens" : [
    {
      "token" : "阿",
      "start_offset" : 0,
      "end_offset" : 1,
      "type" : "CN_CHAR",
      "position" : 0
    },
    {
      "token" : "萨",
      "start_offset" : 1,
      "end_offset" : 2,
      "type" : "CN_CHAR",
      "position" : 1
    },
    {
      "token" : "德",
      "start_offset" : 2,
      "end_offset" : 3,
      "type" : "CN_CHAR",
      "position" : 2
    },
    {
      "token" : "鸡你太美",
      "start_offset" : 3,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 3
    },
    {
      "token" : "太美",
      "start_offset" : 5,
      "end_offset" : 7,
      "type" : "CN_WORD",
      "position" : 4
    },
    {
      "token" : "实打实",
      "start_offset" : 8,
      "end_offset" : 11,
      "type" : "CN_WORD",
      "position" : 5
    },
    {
      "token" : "实多",
      "start_offset" : 10,
      "end_offset" : 12,
      "type" : "CN_WORD",
      "position" : 6
    }
  ]
}

3、解析

IK分词器（analyzer）包含两种模式：

 ik_smart：最少切分

 ik_max_word：最细切分

这里使用了扩展词词典

什么是扩展词词典？

随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“鸡你太美”，“篮球” 等。

所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。

1）打开IK分词器config目录：

 

2）在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
        <entry key="ext_dict">ext.dic</entry>
</properties>

3）新建一个 ext.dic，可以参考config目录下复制一个配置文件进行修改

鸡你太美

4）重启elasticsearch

docker restart es

5）测试效果：

POST /_analyze
{
  "text": "阿萨德鸡你太美啊实打实多",
  "analyzer": "ik_max_word"
}

注意当前文件的编码必须是 UTF-8 格式，严禁使用Windows记事本编辑

4、停用词词典

在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的。

IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。

1）IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
        <comment>IK Analyzer 扩展配置</comment>
        <!--用户可以在这里配置自己的扩展字典-->
        <entry key="ext_dict">ext.dic</entry>
         <!--用户可以在这里配置自己的扩展停止词字典  *** 添加停用词词典-->
        <entry key="ext_stopwords">stopword.dic</entry>
</properties>

3）在 stopword.dic 添加停用词

nmd

4）重启elasticsearch

# 重启服务
docker restart elasticsearch
docker restart kibana

日志中已经成功加载stopword.dic配置文件

5）测试效果：

POST /_analyze
{
  "text": "阿萨德鸡你太美啊实打实多nmd",
  "analyzer": "ik_max_word"
}
 

不积跬步无以至千里，趁年轻，使劲拼，给未来的自己一个交代！向着明天更好的自己前进吧！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/152660.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

jdk-HashMap(1.8)源码学习

jdk-HashMap(1.8)源码学习

hashMap介绍hashMap是我们日常用得最多的一种并发包其中之一了&#xff0c;hashMap是线程不安全的&#xff0c;不安全主要体现在高并发的场景下&#xff0c;1.8是用数组链表红黑树实现&#xff0c;1.8之前用数组链表&#xff0c;可能会导致死锁及数据丢失。红黑树结构&#xff…
阅读更多...
牛啊！长这么大还是头一次见24W字的SpringBoot从入门到实战文档

牛啊！长这么大还是头一次见24W字的SpringBoot从入门到实战文档

牛啊&#xff01;长这么大还是头一次见24W字的SpringBoot从入门到实战文档&#xff01; 不服还真不行&#xff0c;因为这份文档包含的内容是又全又新&#xff0c;而且还特别高深&#xff0c;从入门到实战的内容全都有&#xff01;&#xff01; 继续往下看&#xff1a; 本文档从…
阅读更多...
数据仓库基础知识(维度建模)

数据仓库基础知识(维度建模)

一、数据仓库概述1.1 数据仓库定义数据仓库&#xff1a;Data Warehouse&#xff0c;是为企业所决策制定过程&#xff0c;提供所有支持类型的数据集合。用于分析性报告和决策支持。数仓是一个面向主题、集成的、相对稳定、反应历史变化的数据集合&#xff0c;随着大数据技术的发…
阅读更多...
[MySQL实战环境部署]（超详细版）

[MySQL实战环境部署]（超详细版）

MySQL实战环境部署1.部署CentOS1.1部署CenOS虚拟机步骤&#xff08;1&#xff09;基于VirtualBox&#xff08;2&#xff09;下载CentOS1.2环境部署过程2.部署MySQL1.部署CentOS 1.1部署CenOS虚拟机步骤 &#xff08;1&#xff09;基于VirtualBox 下载网址&#xff1a; Virtu…
阅读更多...
java初学（仅供自己复习）

java初学（仅供自己复习）

系列文章目录 提示&#xff1a;这里可以添加系列文章的所有文章的目录&#xff0c;目录需要自己手动添加 例如&#xff1a;第一章 Python 机器学习入门之pandas的使用 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目…
阅读更多...
【电子通信如何建立数字信任】

【电子通信如何建立数字信任】

在网络钓鱼攻击兴起之后&#xff0c;多数企业会定期开展针对员工的钓鱼邮件培训&#xff0c;只不过这样的培训效果不尽人意&#xff0c;在一份针对企业的钓鱼报告中&#xff0c;钓鱼邮件的攻击频率在过去几年中成倍增加&#xff0c;反钓鱼工作组甚至观察到了有记录以来的最剧烈…
阅读更多...
react hook 源码完全解读

react hook 源码完全解读

前言 从React Hooks发布以来&#xff0c;整个社区都以积极的态度去拥抱它、学习它。期间也涌现了很多关于React Hooks 源码解析的文章。本文就以笔者自己的角度来写一篇属于自己的文章吧。希望可以深入浅出、图文并茂的帮助大家对React Hooks的实现原理进行学习与理解。本文将…
阅读更多...
基于Apache Hudi 和 Apache Spark Sql 的近实时数仓架构之宽表建设

基于Apache Hudi 和 Apache Spark Sql 的近实时数仓架构之宽表建设

前言 无论是在 lamda 架构还是 kappa 架构中&#xff0c;实时计算通常是使用 flinkmq 来实现的&#xff0c;而在这些场景中涉及到多张表 join 时&#xff0c;一般我们的使用方法是多张流表 join 如&#xff1a;Regular Join、Interval Join&#xff0c;或者流表 维表的方式 j…
阅读更多...
Rust入门（十）：项目发布

Rust入门（十）：项目发布

发布配置 在 Rust 中 发布配置是预定义的、可定制的带有不同选项的配置&#xff0c;他们允许程序员更灵活地控制代码编译的多种选项。 运行 cargo build 发布时采用的 dev 配置&#xff0c;其更适合开发。 运行 cargo build --release 时采用 release 配置&#xff0c;其是更…
阅读更多...
Linux常用命令——netstat命令

Linux常用命令——netstat命令

在线Linux命令查询工具(http://www.lzltool.com/LinuxCommand) netstat 查看Linux中网络系统状态信息 补充说明 netstat命令用来打印Linux中网络系统的状态信息&#xff0c;可让你得知整个Linux系统的网络情况。 语法 netstat(选项)选项 -a或--all&#xff1a;显示所有连…
阅读更多...
ASP.NET Core 3.1系列（23）——使用AutoMapper实现实体之间的相互转换

ASP.NET Core 3.1系列（23）——使用AutoMapper实现实体之间的相互转换

1、前言 在之前的博客中&#xff0c;我们通过EFCore的Scaffold-DbContext命令一键生成数据库实体类。但在实际业务中&#xff0c;实体类并不能很好地应对所有情况。例如前端页面只需要展示某张表中部分字段的信息&#xff0c;这时如果直接将实体类集合返回给前端界面&#xff…
阅读更多...
【C进阶】指针和数组综合题

【C进阶】指针和数组综合题

家人们欢迎来到小姜的世界&#xff0c;<<点此>>传送门 这里有详细的关于C/C/Linux等的解析课程&#xff0c;家人们赶紧冲鸭&#xff01;&#xff01;&#xff01; 客官&#xff0c;码字不易&#xff0c;来个三连支持一下吧&#xff01;&#xff01;&#xff01;关注…
阅读更多...
设计模式-工厂模式（Java）

设计模式-工厂模式（Java）

工厂方法模式 工厂方法模式&#xff1a;Factory Method 事物是发展的&#xff0c;随着事物的不断发展&#xff0c;原有的对象会随着发展不断变化&#xff0c;或增或减。 工厂方法模式提供的一种封装机制&#xff0c;隔离出了那些易变动的对象。这个时候需求的变动不再影响之前…
阅读更多...
Mybatis-Plus中的条件查询-DQL编程

Mybatis-Plus中的条件查询-DQL编程

条件构造器 | MyBatis-Plus 当需要进行一些复杂的条件查询时&#xff0c;则需使用wrapper&#xff0c;来编辑这些条件 1、条件查询 ①allEq() 即是where后面的等于"",该方法的后的所有参数都会被以"and"的形式进行连接 QueryWrapper qw1 new QueryWra…
阅读更多...
Go语言设计与实现 -- 栈空间管理

Go语言设计与实现 -- 栈空间管理

寄存器 图片来自于面向信仰编程 Go 语言的汇编代码包含 BP 和 SP 两个栈寄存器&#xff0c;它们分别存储了栈的基址指针和栈顶的地址&#xff0c;栈内存与函数调用的关系非常紧密&#xff0c;我们在函数调用一节中曾经介绍过栈区&#xff0c;BP 和 SP 之间的内存就是当前函数的…
阅读更多...
数智化转型进入“精装时代”，容联云助力千行百业加速上云用数赋智

数智化转型进入“精装时代”，容联云助力千行百业加速上云用数赋智

随着产业数字化向前推进&#xff0c;企业引入数字技术的需求和热情十分充足&#xff0c;但要把技术下沉到市场中&#xff0c;还存在一个关键的矛盾&#xff1a;交付能力。千行百业&#xff0c;尤其是传统实体经济从业者&#xff0c;对数智化所需要的5G、IOT、AI、大数据、云计算…
阅读更多...
canvas入门教学（5）运动小球屏保特效与下雪特效渲染

canvas入门教学（5）运动小球屏保特效与下雪特效渲染

本节我们来学习两个例子，第一个例子是如下图这样的，全屏各色各样的小球随机运动，碰撞到屏幕边缘再反弹回来的特效，我们一步一步带着大家来学习这个canvas应用。 首先呢，基于上一个教程的例子，我们需要基础的构建圆， 上节教程在这里 并且呢我们要重复的多次的构建半径…
阅读更多...
OVN实验----L2互通

OVN实验----L2互通

概述 尽量少贴概念&#xff0c;只同步一些必要的名词。 central: 可以看做中心节点&#xff0c;central节点组件包括OVN/CMS plugin、OVN Northbound DB、ovn-northd、OVN Southbound DB。 hypervisor: 可以看做工作节点&#xff0c;hypervisor节点组件包括ovn-controller、ov…
阅读更多...
Target 塔吉特的4种商品编码

Target 塔吉特的4种商品编码

Target塔吉特共有4种商品编码&#xff1a;TCIN、DPCI、UPC、SKU&#xff0c;其中DPCI、UPC和TCIN在Target系统中是唯一的ID。在target.com中查看商品时&#xff0c;在任一个商品中下拉进入到商品详情页&#xff08;Item/Detail/Specifications&#xff09;中都可以看到该商品的…
阅读更多...
13_5、Java的IO流之转换流的使用

13_5、Java的IO流之转换流的使用

一、转换流涉及到的类&#xff1a;都是字符流InputStreamReader&#xff1a;将输入的字节流转换为输入的字符流。解码&#xff1a;字节、字节数组 ————>字符串、字符数组OutputStreamWrite&#xff1a;将输出的字符流转换为输出的字节流。编码&#xff1a;字符串、字符数…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023