elasticsearch基础(一)

news2024/11/16 0:44:00

一、初识elasticsearch

1. 了解ES

1.1 什么是elasticsearch

elasticsearch是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。

elasticsearch结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。

elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。

1.2 elasticsearch的发展

Lucene是一个Java语言的搜索引擎类库,是Apache公司的顶级项目,由DougCutting于1999年研发。

官网地址:https://lucene.apache.org/ 。

Lucene的优势:

(1)易扩展

(2)高性能(基于倒排索引)

Lucene的缺点:

(1)只限于Java语言开发

(2)学习曲线陡峭

(3)不支持水平扩展

2004年Shay Banon 基于Lucene开发了Compass

2010年Shay Banon 重写了Compass,取名为Elasticsearch。

官网地址: https://www.elastic.co/cn/

相比与lucene,elasticsearch具备下列优势

(1)支持分布式,可水平扩展

(2)提供Restful接口,可被任何语言调用

2. 倒排索引

2.1 正向索引和倒排索引

传统数据库(如MySQL)采用正向索引,例如给下表(tb_goods)中的id创建索引:

elasticsearch采用倒排索引:

(1)文档(document):每条数据就是一个文档

(2)词条(term):文档按照语义分成的词语

 

(1)什么是正向索引?

基于文档id创建索引。查询词条时必须先找到文档,而后判断是否包含词条

(2)什么是倒排索引?

对文档内容分词,对词条创建索引,并记录词条所在文档的信息。查询时先根据词条查询到文档id,而后获取到文档

3. es的一些概念

3.1 文档

elasticsearch是面向文档存储的,可以是数据库中的一条商品数据,一个订单信息。

文档数据会被序列化为json格式后存储在elasticsearch中。

3.2 索引(Index)

索引(index):相同类型的文档的集合

映射(mapping):索引中文档的字段约束信息,类似表的结构约束

3.3 概念对比

MySQL

Elasticsearch

说明

Table

Index

索引(index),就是文档的集合,类似数据库的表(table)

Row

Document

文档(Document),就是一条条的数据,类似数据库中的行(Row),文档都是JSON格式

Column

Field

字段(Field),就是JSON文档中的字段,类似数据库中的列(Column)

Schema

Mapping

Mapping(映射)是索引中文档的约束,例如字段类型约束。类似数据库的表结构(Schema)

SQL

DSL

DSL是elasticsearch提供的JSON风格的请求语句,用来操作elasticsearch,实现CRUD

(1)Mysql:擅长事务类型操作,可以确保数据的安全和一致性

(2)Elasticsearch:擅长海量数据的搜索、分析、计算

3.4 分词器

es在创建倒排索引时需要对文档分词;在搜索时,需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。

我们在kibana的DevTools中测试:

语法说明:

(1)POST:请求方式

(2)/_analyze:请求路径,这里省略了http://192.168.150.101:9200,有kibana帮我们补充 (3)请求参数,json风格:

1️⃣analyzer:分词器类型,这里是默认的standard分词器

2️⃣text:要分词的内容 

处理中文分词,一般会使用IK分词器。https://github.com/medcl/elasticsearch-analysis-ik

ik分词器包含两种模式:

(1)ik_smart:最少切分,粗粒度

(2)ik_max_word:最细切分,细粒度

3.5 ik分词器-拓展词库

要拓展ik分词器的词库,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件:

然后在名为ext.dic的文件中,添加想要拓展的词语即可:

 

3.6 ik分词器-停用词库

要禁用某些敏感词条,只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件:

然后在名为stopword.dic的文件中,添加想要拓展的词语即可:

  

4. 安装es、kibana

二、索引库操作

1. mapping映射属性

mapping是对索引库中文档的约束,常见的mapping属性包括:

(1)type:字段数据类型,常见的简单类型有: 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址) 数值:long、integer、short、byte、double、float、 布尔:boolean 日期:date 对象:object index:是否创建索引,默认为true analyzer:使用哪种分词器 properties:该字段的子字段

2. 索引库的CRUD

三、文档操作

四、RestAPI

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/136961.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

apply,call,bind的作用与区别

1.作用 都可以用来改变this,并立即执行函数 首先来看一个构造函数 function User(name) {this.name name;}let lisi new User(李四)console.log(lisi)// {"name": "李四"}使用call和apply改变this 第一个参数传递改变this指针的这个对象 function Us…

云存储生态构建的技术基因和最佳实践

当云计算、大数据、物联网、人工智能等新技术纷至沓来,我们都在时代的洪流中亲历这样的变化——数字科技深入渗透工作生活,从消费娱乐到生活服务,再到产业革新。 智能化时代,企业 IT 趋势的四大转变 不难发现,以上云…

涉及top名校对IB课程的分数要求

在北美、欧洲,有许多著名的大学乐于接收IB学生,有一些大学还为优秀IB毕业生提供奖励学分、越级的鼓励入学政策。全球有分布在近百个国家的一千余所大学与国际文凭组织(IBO)有稳定的协约关系,确保这些大学承认IB文凭。 什么是IB课程?IB课程项…

FFmpeg 结构体以及核心方法介绍

1.FFmpeg整体结构 ffplay、ffprobe、ffmpeg是上层的三个应用程序 libavutil:核心工具库,其他模块一般都会依赖这个模块做一些基本的音视频处理。 libavformat:文件格式协议库,封装了protocol层和demuxer、Muxer层,使…

ATTCK 01

官网环境链接 漏洞信息 下载好后自行解压 分别在VM中依次打开 配置攻击机和三个客户机的网络环境 其中攻击机选择 kali 客户机为 win7 win8 win2k3 kali的设置 (VMnet1) win7 的设置 (VMnet1用于连接外网 VMnet2用于连接内网) win8 …

滴滴前端一面高频vue面试题及答案

keep-alive 使用场景和原理 keep-alive 是 Vue 内置的一个组件, 可以实现组件缓存 ,当组件切换时不会对当前组件进行卸载。 一般结合路由和动态组件一起使用 ,用于缓存组件提供 include 和 exclude 属性, 允许组件有条件的进行缓…

数据交换格式

1、什么是数据交换格式 数据交换格式,就是服务器端与客户端之间进行数据传输与交换的格式。 前端领域,经常提及的两种数据交换格式分别是 XML 和 JSON。其中 XML 用的非常少,所以,我们重点要学习的数据交换格式就是 JSON。 2、XML…

数学建模学习笔记-算法(整数规划模型的基本概念)

目录 基本概念 定义 分类: 数学模型 分为 整数规划和松弛的线性规划的关系​编辑 基本概念 定义 数学规划中变量限制为整数时,称为整数规划 线性规划中变量限制为整数时,称为整数线性规划 分类: 变量全限制为整数时&#…

Adversarial Robustness vs. Model Compression, or Both?

众所周知,深度神经网络(DNN)容易受到对抗性攻击,这种攻击是通过在良性示例中添加精心设计的扰动来实现的。基于最小-最大鲁棒优化的对抗性训练可以提供对抗性攻击的安全概念。然而,对抗性鲁棒性需要比仅具有良性示例的…

二叉树的Morris遍历

Morris 遍历的是指就是避免用栈结构,而是让下层到上层有指针,具体时通过让底层节点指向 null 的空闲指针指回上层的某个节点,从而完成下层到上层的移动。 Morris 遍历的过程: 假设当前节点为cur,初始时cur就是整棵树的…

33-剑指 Offer 34. 二叉树中和为某一值的路径

题目给你二叉树的根节点 root 和一个整数目标和 targetSum ,找出所有从根节点到叶子节点路径总和等于给定目标和的路径。叶子节点是指没有子节点的节点。示例 1:输入:root [5,4,8,11,null,13,4,7,2,null,null,5,1], targetSum 22输出&#…

邮箱中的Qt线程设计

邮箱(deepin-mail)主要使用Qt框架开发,是一个有大量并行任务且需要监控进度和结果的项目,任务的优先级调整和支持取消回滚也是必不可少。Qt已经为我们提供了多种线程设计的方法,可以满足绝大部分使用场景,但…

钧瓷产业基础架构(SCA架构)是钧瓷产业发展的核心引擎

《钧瓷内参》独立客观,原创前瞻,深度评论,定期推送 钧 瓷 内 参 第3期(总第335期) 2023年1月3日 钧瓷产业数字化发展的下一个阶段——钧瓷共同体,是钧瓷产业数字化发展的必然趋势。 实现钧瓷共同体的路线…

JavaSE从基础到入门:String类的学习

前言 字符串广泛应用 在 Java 编程中,在 Java 中字符串属于对象,Java 提供了 String 类来创建和操作字符串。 1.String类的方法 1.字符串的构造方法 使用常量串构造 String s1 "hello world"; System.out.println(s1);直接newString对象…

【Linux】Linux基本权限

作者:一个喜欢猫咪的的程序员 专栏:《Linux》 喜欢的话:世间因为少年的挺身而出,而更加瑰丽。 ——《人民日报》 目录 1.shell命令以及运行原理 2.Linux权限 2.1Linux权限的概念 2.2Linux上用户…

DALLE2-文本图像生成

文章目录摘要算法解码器prior图像处理变体插值文本差异限制论文: 《Hierarchical Text-Conditional Image Generation with CLIP Latents》github: https://github.com/lucidrains/DALLE2-pytorchhttps://github.com/LAION-AI/dalle2-laion摘要 CLIP已经…

window环境安装mysql8.0.12版本的安装、配置(详细步骤图解)

目录一、mysql官网下载网址二、下载步骤三、安装步骤四、测试链接一、mysql官网下载网址 mysql官网下载网址 https://www.mysql.com/ 二、下载步骤 浏览器输入https://www.mysql.com/网址,点击【DownLoads】,如下图: 向下滑动网页&#x…

软件测试面试注意事项汇总

面对最近的复工热潮,不少求职者也开始蠢蠢欲动准备找工作了。相信大家都知道疫情下面试求职的压力是有史以来最大的,我们唯一能做好的只有积极的准备面试,让自己可以更加从容的面对的面试官的提问。下面小编为大家汇总了软件测试面试过程中的…

CSDN官方猿如意工具体验

2022年注定是不平凡的一年,2022再见,2023你好! 2023愿我们发财,被爱,一路好运常在!愿所念之人平安喜乐,所想之事顺心如意,岁岁常欢喜,万事皆胜意! 猿如意工具…

中间件:Win10安装运行Kafka

一、JDK环境安装配置 可参考:百度安全验证 二、Zookeeper安装配置 1、下载 : Index of /dist/zookeeper/zookeeper-3.4.9 2、解压到本地,目录不要带中文符号,保证纯英文 3、zoo.cfg修改 4、cmd运行,使用命令zkServe…