Elasticsearch介绍、安装以及IK分词器 --学习笔记

news2024/9/24 3:27:50

Elasticsearch 是什么？

Elasticsearch 是一个高度可扩展的开源全文搜索和分析引擎。它允许你以极快的速度存储、搜索和分析大量数据。Elasticsearch 基于 Apache Lucene 构建，提供了一个分布式、多租户能力的全文搜索引擎，带有 HTTP web 接口和无模式 JSON 文档。这意味着你可以用 Elasticsearch 存储、搜索、分析的数据种类非常广泛，几乎可以适用于任何类型的用例。

当项目中需要使用到搜索查询功能时，光靠MySqld的模糊查询就显得心有余而力不足了，模糊查询的匹配要求非常严格，需要搜索结果中必须带有相关关键字，而且当搜索量大了之后，使用MySql进行大量的查询操作效率也会大打折扣。而在Elasticsearch 搜索引擎中，用户输入出现个别错字，或者用拼音搜索、同义词搜索都能正确匹配到数据。

Elasticsearch 安装

基于docker环境下的安装命令：

docker run -d \
  --name 容器名 \
  -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
  -e "discovery.type=single-node" \
  -v es-data:/usr/share/elasticsearch/data \
  -v es-plugins:/usr/share/elasticsearch/plugins \
  --privileged \
  --network 网络名 \
  -p 9200:9200 \
  -p 9300:9300 \
  elasticsearch:版本号

kibana安装

kibanna用于图形化展示Elasticsearch，可以对Elasticsearch进行控制台操作：

docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network 网络名 \
-p 5601:5601  \
kibana:7.12.1

倒排索引和正向索引

正向索引机制

在讨论数据库（如MySQL）的查询优化时，重要的是要理解索引的作用及其在模糊查询中的局限性。例如，当对数据库中某一张拥有成千上万条数据的表进行模糊查询时，如使用SQL的LIKE语句，查询性能可能受到影响。假设我们对该表的一个字段使用模糊查询，可能使用类似LIKE '%关键字%'的查询条件。即使查询的第一条记录就是我们需要找的数据，查询操作并不会因此停止。原因在于数据库系统需要找出所有匹配的记录，而不仅仅是第一条匹配的记录。因此，系统不得不继续扫描整张表，以确保没有遗漏任何符合条件的数据。

这种查询效率不高的原因部分在于，标准索引主要优化了精确匹配或范围查询的性能。对于以通配符开始的模糊查询（例如LIKE '%关键字%'），标准索引往往无法被有效利用，因为这违背了索引设计的预期使用方式。

倒排索引机制

倒排索引（Inverted Index）是一种数据库索引方式，它与前面讨论的正向索引或数据库中常用的标准索引不同。倒排索引在文档检索系统，如搜索引擎，以及在一些特定类型的数据库优化中非常关键。它的主要思想是根据文档内容中出现的词汇来建立索引，而不是文档到词汇的映射，这与正向索引正相反。

倒排索引主要由两个部分组成：一是词表（Term List），二是倒排列表（Inverted List）。词表中包含了所有文档中出现的词汇，而对于每个词汇，倒排列表则记录了该词汇出现在哪些文档中，通常还包括词在文档中出现的位置、频率等信息。

也就是说倒排索引会将每个文档中出现的词汇提取出来，记录于倒排列表之中，当查询时，直接根据查询输入中的词汇去找相关词汇的倒排列表记录，就可以直接找到有记录相关词汇的文档了，而不必向正向索引一样每次查询都遍历全表。

倒排索引最典型的应用是在搜索引擎中，它使得用户能在短时间内从互联网的海量信息中找到所需的内容。此外，在一些特定的数据库产品中，特别是那些面向文本检索的数据库系统，也广泛采用倒排索引来优化查询性能和存储效率。

总体而言，倒排索引因其特有的结构和优势，成为了处理大规模文本数据，特别是搜索和文本分析领域的重要技术之一。

那么为什么一个叫做正向索引，一个叫做倒排索引呢？

  • 正向索引是最传统的，根据id索引的方式。但根据词条查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的词条，是根据文档找词条的过程。

  • 而倒排索引则相反，是先找到用户要搜索的词条，根据词条得到保护词条的文档的id，然后根据id获取文档。是根据词条找文档的过程。

正向索引：

  • 优点：

    • 可以给多个字段创建索引

    • 根据索引字段搜索、排序速度非常快

  • 缺点：

    • 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。

倒排索引：

  • 优点：

    • 根据词条搜索、模糊搜索时，速度非常快

  • 缺点：

    • 只能给词条创建索引，而不是字段

    • 无法根据字段做排序

文档和字段

elasticsearch是面向文档（Document）存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中：

因此，原本数据库中的一行数据就是ES中的一个JSON文档；而数据库中每行数据都包含很多列，这些列就转换为JSON文档中的字段（Field）。 

索引和映射

随着业务发展，需要在es中存储的文档也会越来越多，比如有商品的文档、用户的文档、订单文档等等。

所有文档都散乱存放显然非常混乱，也不方便管理。

因此，我们要将类型相同的文档集中在一起管理，称为索引（Index）。

例如：

商品索引

{
    "id": 1,
    "title": "小米手机",
    "price": 3499
}

{
    "id": 2,
    "title": "华为手机",
    "price": 4999
}

{
    "id": 3,
    "title": "三星手机",
    "price": 3999
}

用户索引

{
    "id": 101,
    "name": "张三",
    "age": 21
}

{
    "id": 102,
    "name": "李四",
    "age": 24
}

{
    "id": 103,
    "name": "麻子",
    "age": 18
}

  • 所有用户文档，就可以组织在一起，称为用户的索引；

  • 所有商品的文档，可以组织在一起，称为商品的索引；

因此，我们可以把索引当做是数据库中的表。

数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。

mysql与elasticsearch

MySQL

Elasticsearch

说明

Table

Index

索引(index)，就是文档的集合，类似数据库的表(table)

Row

Document

文档（Document），就是一条条的数据，类似数据库中的行（Row），文档都是JSON格式

Column

Field

字段（Field），就是JSON文档中的字段，类似数据库中的列（Column）

Schema

Mapping

Mapping（映射）是索引中文档的约束，例如字段类型约束。类似数据库的表结构（Schema）

SQL

DSL

DSL是elasticsearch提供的JSON风格的请求语句，用来操作elasticsearch，实现CRUD

IK分词器

Elasticsearch的关键就是倒排索引，而倒排索引依赖于对文档内容的分词，而分词则需要高效、精准的分词算法，IK分词器就是这样一个中文分词算法。

安装Ik分词器

方法一

下载好分词器，然后上传到Elasticsearch挂载的插件目录。

方法二

在线安装，运行命令，然后重启容器：

docker exec -it es ./bin/elasticsearch-plugin  install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip

IK分词器的使用

IK分词器包含两种模式：

  • ik_smart：智能语义切分

  • ik_max_word：最细粒度切分

只需要在创建索引库时指定"analyzer"字段的值为IK分词器，相当于告诉Elasticsearch用什么分词器对该索引库进行分词：

 "analyzer": "ik_smart",

当然，虽然IK分词器可以对大部分常规的词汇进行分词，但对于紧跟时代潮流涌现的那些时下热词之类的，依旧是无法进行分词的，此时就需要自己拓展词典。

拓展词典

1）打开IK分词器config目录：

注意，如果采用在线安装的通过，默认是没有config目录的，需要自行下载config目录上传至对应目录。

在IKAnalyzer.cfg.xml配置文件内容添加：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic</entry>
</properties>

在IK分词器的config目录新建一个 ext.dic：

蔡徐坤
坤哥
坤坤
鸡你太美
666

这下对于那些网络热词也可以进行分词了

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1944307.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

centos系统mysql数据库压缩备份与恢复

centos系统mysql数据库压缩备份与恢复

文章目录 压缩备份一、安装 xtrabackup二、数据库中创建一些数据三、进行压缩备份四、模拟数据丢失&#xff0c;删库五、解压缩六、数据恢复 压缩备份 一、安装 xtrabackup 确保已经安装了 xtrabackup 工具。可以从 Percona 的官方网站 获取并安装适合你系统的版本。 # 添加…
阅读更多...
2024在线PHP加密网站源码

2024在线PHP加密网站源码

源码介绍 2024在线PHP加密网站源码 更新内容: 1.加强算法强度 2.优化模版UI 加密后的代码示例截图 源码下载 https://download.csdn.net/download/huayula/89568335
阅读更多...
学习日志：JVM垃圾回收

学习日志：JVM垃圾回收

文章目录 前言一、堆空间的基本结构二、内存分配和回收原则对象优先在 Eden 区分配大对象直接进入老年代长期存活的对象将进入老年代主要进行 gc 的区域空间分配担保 三、死亡对象判断方法引用计数法可达性分析算法引用类型总结1&#xff0e;强引用&#xff08;StrongReference…
阅读更多...
Python+Flask+MySQL+日线指数与情感指数预测的股票信息查询系统【附源码，运行简单】

Python+Flask+MySQL+日线指数与情感指数预测的股票信息查询系统【附源码，运行简单】

PythonFlaskMySQL日线指数与情感指数预测的股票信息查询系统【附源码&#xff0c;运行简单】 总览 1、《股票信息查询系统》1.1 方案设计说明书设计目标工具列表 2、详细设计2.1 登录2.2 程序主页面2.3 个人中心界面2.4 基金详情界面2.5 其他功能贴图 总览 自己做的项目&#…
阅读更多...
【教程】在 VS Code 集成终端中解决 Node.js 环境变量识别问题

【教程】在 VS Code 集成终端中解决 Node.js 环境变量识别问题

背景 外部命令&#xff0c;如 node 在外部的终端中可以识别到&#xff0c;但是在vscode的终端中不能识别到错误&#xff1a;node : 无法将“node”项识别为 cmdlet、函数、脚本文件或可运行程序的名称也就是环境变量其实是有 node 的&#xff0c;但是 vscode 的集成终端中就是…
阅读更多...
【Django】在vscode中新建Django应用并新增路由

【Django】在vscode中新建Django应用并新增路由

文章目录 打开一个终端输入新建app命令在app下的views.py内写一个视图app路由引入该视图项目路由引入app路由项目(settings.py)引入app&#xff08;AntappConfig配置类&#xff09;运行项目 打开一个终端 输入新建app命令 python manage.py startapp antapp在app下的views.py内…
阅读更多...
let、var、const 的区别 --js面试题

let、var、const 的区别 --js面试题

作用域 ES5中的作用域有&#xff1a;全局作用域、函数作用域&#xff0c;ES6中新增了块级作用域。块作用域由 { } 包括&#xff0c;if 语句和 for 语句里面的 { } 也属于块作用域。 var 1.没有块级作用域的概念&#xff0c;但具有函数全局作用域、函数作用域的概念 {var a …
阅读更多...
交易积累-MACD

交易积累-MACD

MACD&#xff08;Moving Average Convergence Divergence&#xff0c;即移动平均收敛发散指标&#xff09;是由Gerald Appel于1970年代后期发明的一种趋势跟踪动量指标。MACD显示了两个不同周期&#xff08;通常是较长和较短周期&#xff09;的移动平均线之间的差异。这个指标旨…
阅读更多...
PCIe 以太网芯片 RTL8125B 的 spec 和 Linux driver 分析备忘

PCIe 以太网芯片 RTL8125B 的 spec 和 Linux driver 分析备忘

1,下载 RTL8125B driver 下载页&#xff1a; https://www.realtek.com/Download/List?cate_id584 2,RTL8125B datasheet下载 下载页&#xff1a; https://file.elecfans.com/web2/M00/44/D8/poYBAGKHVriAHnfWADAT6T6hjVk715.pdf3, 编译driver 解压&#xff1a; $ tar xj…
阅读更多...
Android APP CameraX应用（02）预览流程

Android APP CameraX应用（02）预览流程

说明&#xff1a;camera子系统 系列文章针对Android12.0系统&#xff0c;主要针对 camerax API框架进行解读。 1 CameraX简介 1.1 CameraX 预览流程简要解读 CameraX 是 Android 上的一个 Jetpack 支持库&#xff0c;它提供了一套统一的 API 来处理相机功能&#xff0c;无论 …
阅读更多...
Redis-10大数据类型理解与测试

Redis-10大数据类型理解与测试

Redis10大数据类型 我要打10个1.redis字符串(String)2.redis列表(List)3.redis哈希表(Hash)4.redis集合(Set)5.redis有序集合(ZSet)6.redis地理空间(GEO)7.redis基数统计(HyperLogLog)8.redis位图(bitmap)9.redis位域(bitfield)10.redis流(Stream) 官网地址Redis 键(key)常用案…
阅读更多...
OpenCV图像滤波（1）双边滤波函数bilateralFilter的使用

OpenCV图像滤波（1）双边滤波函数bilateralFilter的使用

操作系统&#xff1a;ubuntu22.04 OpenCV版本&#xff1a;OpenCV4.9 IDE:Visual Studio Code 编程语言&#xff1a;C11 功能描述 bilateralFilter是图像处理和计算机视觉领域中的一种高级图像滤波技术&#xff0c;特别设计用于在去除噪声的同时保留图像的边缘和细节。相比于传…
阅读更多...
NSSCTF-2021年SWPU联合新生赛

NSSCTF-2021年SWPU联合新生赛

[SWPUCTF 2021 新生赛]finalrce 这道题目考察tee命令和转义符\ 这题主要是&#xff0c;遇到一种新的符号&#xff0c;"\"—转义符。我理解的作用就是在一些控制字符被过滤的时候&#xff0c;可以用转义符&#xff0c;让控制符失去原本的含义&#xff0c;变为字面量…
阅读更多...
学习记录——day16 操作受限的线性表 链式栈

学习记录——day16 操作受限的线性表 链式栈

操作受限的线性表 1、在之前的内容&#xff0c;无论是顺序表还是链表&#xff0c;都是详细处理的线性表&#xff0c;既可以在端点处进行操作也 可以在中间位置操作 2、现实生活中&#xff0c;有很多并不需要在中间进行操作的序列&#xff0c;只在端点处进行操…
阅读更多...
30岁自学编程从何处入手？

30岁自学编程从何处入手？

自学编程是一个很好的选择&#xff0c;尤其是在你有志于转行或提升技能的情况下。我收集制作一份plc学习包&#xff0c;对于新手而言简直不要太棒&#xff0c;里面包括了新手各个时期的学习方向&#xff0c;包括了编程教学&#xff0c;数据处理&#xff0c;通信处理&#xff0c…
阅读更多...
JVM中的栈、堆与方法区：深入理解JVM内存管理

JVM中的栈、堆与方法区：深入理解JVM内存管理

JVM中的栈、堆与方法区&#xff1a;深入理解JVM内存管理 1、栈&#xff08;Stack&#xff09;2、堆&#xff08;Heap&#xff09;3、方法区&#xff08;Method Area&#xff09; &#x1f496;The Begin&#x1f496;点点关注&#xff0c;收藏不迷路&#x1f496; 在Java程序的…
阅读更多...
SpringBoot+ Sharding Sphere 轻松实现数据库字段加解密

SpringBoot+ Sharding Sphere 轻松实现数据库字段加解密

一、介绍 在实际的软件系统开发过程中&#xff0c;由于业务的需求&#xff0c;在代码层面实现数据的脱敏还是远远不够的&#xff0c;往往还需要在数据库层面针对某些关键性的敏感信息&#xff0c;例如&#xff1a;身份证号、银行卡号、手机号、工资等信息进行加密存储&#xf…
阅读更多...
Pytorch 6

Pytorch 6

罗切斯特回归模型 加了激活函数 加了激活函数之后类 class LogisticRegressionModel(torch.nn.Module):def __init__(self):super(LogisticRegressionModel, self).__init__()self.linear torch.nn.Linear(1,1)def forward(self, x):# y_pred F.sigmoid(self.linear(x))y_p…
阅读更多...
colab进行keras入门随机数和标签的一点思考,例如shape和Dense等

colab进行keras入门随机数和标签的一点思考,例如shape和Dense等

keras官方中文文档 pip install kerasfrom keras import layers from keras import modelsmodel.add(layers.Dense(32,activationrelu,input_shape(100,)))# 添加多个Dense层 model.add(layers.Dense(10,activationsoftmax)) model.compile(optimizerrmsprop,losscategorical_…
阅读更多...
libtins初探-抓包嗅探

libtins初探-抓包嗅探

libtin 一、概述1. 可移植性2. 特性 二、基础知识1. PDU2. 地址类3. 地址范围类4. 网络接口5. 写pcap文件 三、嗅探1.嗅探基础2. 嗅探器配置3. 循环嗅探4. 使用迭代器嗅探6. 包对象7. 读取pcap文件8. 包的解析 四、发送包1. 发送网络层pdu2. 发送链路层pdu3. 发送和接收响应校验…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023