ElasticSearch小计

news2025/1/23 12:16:41

1、ElasticSearch简介

1.1、ElasticSearch（简称ES）

  • Elasticsearch是用Java开发并且是当前最流行的开源的企业级搜索引擎。能够达到近实时搜索，稳定，可靠，快速，安装使用方便。
  • 客户端支持Java、.NET（C#）、PHP、Python、Ruby等多种语言。

  官方网站: https://www.elastic.co/
  下载地址： https://www.elastic.co/cn/start

1.2、应用场景

  • 网站搜索、垂直搜索、代码搜索；
  • 日志管理与分析、安全指标监控、应用性能监控、Web抓取舆情分析；

1.3、主要功能

  • 海量数据的分布式存储以及集群管理，达到了服务与数据的高可用以及水平扩展；
  • 近实时搜索，性能卓越。对结构化、全文、地理位置等类型数据的处理；
  • 海量数据的近实时分析（聚合功能）

1.4、ElasticSearch与Lucene的关系

  Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库（框架），但是想要使用Lucene，必须使用Java来作为开发语言并将其直接集成到你的应用中，并且Lucene的配置及使用非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。

Lucene缺点：

  1. 只能在Java项目中使用,并且要以jar包的方式直接集成项目中
  2. 使用非常复杂-创建索引和搜索索引代码繁杂
  3. 不支持集群环境-索引数据不同步（不支持大型项目）
  4. 索引数据如果太多就不行，索引库和应用所在同一个服务器，共同占用硬盘共用空间少

1.5、ES vs Solr比较

ES vs Solr 检索速度

  当单纯的对已有数据进行搜索时，Solr更快。
在这里插入图片描述

  当实时建立索引时, Solr会产生io阻塞，查询性能较差, Elasticsearch具有明显的优势。

在这里插入图片描述

  大型互联网公司，实际生产环境测试，将搜索引擎从Solr转到 Elasticsearch以后的平均查询速度有了50倍的提升。

在这里插入图片描述

总结：
二者安装都很简单。

  1. Solr 利用 Zookeeper 进行分布式管理，而Elasticsearch 自身带有分布式协调管理功能。
  2. Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。
  3. Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。
  4. Solr 是传统搜索应用的有力解决方案，但 Elasticsearch更适用于新兴的实时搜索应用。

1.6、ES vs 关系型数据库

在这里插入图片描述

2、Lucene全文检索框架

2.1、什么是全文检索

  • 通过一个程序扫描文本中的每一个单词，针对单词建立索引，并保存该单词在文本中的位置、以及出现的次数
  • 用户查询时，通过之前建立好的索引来查询，将索引中单词对应的文本位置、出现的次数返回给用户，因为有了具体文本的位置，所以就可以将具体内容读取出来了

2.2、分词原理之倒排索引

在这里插入图片描述
倒排索引总结：
  索引就类似于目录，平时我们使用的都是索引，都是通过主键定位到某条数据，那么倒排索引呢，刚好相反，数据对应到主键．这里以一个博客文章的内容为例:

1.索引：
在这里插入图片描述
2.倒排索引
  假如，我们有一个站内搜索的功能，通过某个关键词来搜索相关的文章，那么这个关键词可能出现在标题中，也可能出现在文章内容中，那我们将会在创建或修改文章的时候，建立一个关键词与文章的对应关系表，这种，我们可以称之为倒排索引,因此倒排索引，也可称之为反向索引．如：
在这里插入图片描述

3、Elasticsearch中的核心概念

3.1、索引 index

  • 一个索引就是一个拥有几分相似特征的文档的集合。比如说，可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引
  • 一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字

3.2、映射 mapping

  • ElasticSearch中的映射（Mapping）用来定义一个文档
  • mapping是处理数据的方式和规则方面做一些限制，如某个字段的数据类型、默认值、分词器、是否被索引等等，这些都是映射里面可以设置的

3.3、字段 Field

  • 相当于是数据表的字段|列

3.4、字段类型 Type

  • 每一个字段都应该有一个对应的类型，例如：Text、Keyword、Byte等

3.5、文档 document

  • 一个文档是一个可被索引的基础信息单元，类似一条记录。文档以JSON（Javascript ObjectNotation）格式来表示；

3.6、集群 cluster

  • 一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能

3.7、节点 node

  • 一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能
  • 一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中
  • 这意味着，如果在网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中
  • 在一个集群里，可以拥有任意多个节点。而且，如果当前网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

3.8、分片和副本 shards&replicas - 分片

  • 一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢
  • 为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片
  • 当创建一个索引的时候，可以指定你想要的分片的数量
  • 每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置到集群中的任何节点上
  • 分片很重要，主要有两方面的原因：
      1、允许水平分割/扩展你的内容容量
      2、允许在分片之上进行分布式的、并行的操作，进而提高性能/吞吐量
  • 至于一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户来说，这些都是透明的

3.9、分片和副本 shards&replicas - 副本

  • 在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因消失了，这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分片的一份或多份拷贝，这些拷贝叫做副本分片，或者直接叫副本
  • 副本之所以重要，有两个主要原因
      1、在分片/节点失败的情况下，提供了高可用性：注意到复制分片从不与原/主要（original/primary）分片置于同一节点上是非常重要的
      2、扩展搜索量/吞吐量，因为搜索可以在所有的副本上并行运行：每个索引可以被分成多个分片。一个索引有0个或者多个副本一旦设置了副本，每个索引就有了主分片和副本分片，分片和副本的数量可以在索引创建的时候指定在索引创建之后，可以在任何时候动态地改变副本的数量，但是不能改变分片的数量

4、安装ElasticSearch

4.1、创建普通用户

  • ES不能使用root用户来启动，必须使用普通用户来安装启动。

4.2、修改配置文件

修改elasticsearch.yml (使用es安装的用户)

mkdir ‐p /usr/local/es/elasticsearch‐7.6.1/log
mkdir ‐p /usr/local/es/elasticsearch‐7.6.1/data


cd /usr/local/es/elasticsearch‐7.6.1/config
vim elasticsearch.yml
cluster.name: my‐application
node.name: node‐1
path.data: /usr/local/es/elasticsearch‐7.6.1/data
path.logs: /usr/local/es/elasticsearch‐7.6.1/log
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["服务器IP"]
cluster.initial_master_nodes: ["node‐1"]
bootstrap.system_call_filter: false
bootstrap.memory_lock: false
http.cors.enabled: true
http.cors.allow‐origin: "*"

4.3、修改jvm.option

修改jvm.option配置文件，调整jvm堆内存大小

cd /usr/local/es/elasticsearch‐7.6.1/config
vi jvm.options
‐Xms2g
‐Xmx2g

4.4、修改系统配置，解决启动时候的问题

  由于现在使用普通用户来安装es服务，且es服务对服务器的资源要求比较多，包括内存大小，线程数等。所以我们需要给普通用户解开资源的束缚

普通用户打开文件的最大数限制

  ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除linux系统当中打开文件最大数目的限制，不然ES启动就会抛错
sudo vi /etc/security/limits.conf

* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096

普通用户启动线程数限制

  max number of threads [1024] for user [es] likely too low, increase to
at least [4096]原因：无法创建本地线程问题,用户最大可创建线程数太小
  解决方案：修改90-nproc.conf 配置文件。

Centos6
sudo vi /etc/security/limits.d/90‐nproc.conf
Centos7
sudo vi /etc/security/limits.d/20‐nproc.conf

* soft nproc 1024#修改为
* soft nproc 4096

普通用户调大虚拟内存

max virtual memory areas vm.max_map_count [65530] likely too low,increase to at least [262144]
调大系统的虚拟内存
原因：最大虚拟内存太小

vi /etc/sysctl.conf，追加以下内容：
vm.max_map_count=655360 
保存后，执行：sysctl ‐p

5、安装IK分词器

  我们后续也需要使用Elasticsearch来进行中文分词，所以需要单独给Elasticsearch安装IK分词器插件。以下为具体安装步骤：

5.1.1、下载Elasticsearch IK分词器

https://github.com/medcl/elasticsearch-analysis-ik/releases

5.1.2、切换到安装es用户，并在es的安装目录下/plugins创建ik

mkdir ‐p /usr/local/es/elasticsearch‐7.6.1/plugins/ik

5.1.3、将下载的ik分词器上传并解压到该目录

cd /usr/local/es/elasticsearch‐7.6.1/plugins/ik
解压 elasticsearch‐analysis‐ik‐7.6.1.zip

5.1.4、重启ElasticSearch

5.1.5、指定IK分词器作为默认分词器

  • ES的默认分词设置是standard，这个在中文分词时就比较尴尬了，会单字拆分，比如我搜索关键词“清华大学”，这时候会按“清”，“华”，“大”，“学”去分词，然后搜出来的都是些“清清的河水”，“中华儿女”，“地大物博”，“学而不思则罔”之类的莫名其妙的结果，这里我们就想把这个分词方式修改一下，于是呢，就想到了ik分词器，有两种ik_smart和ik_max_word。
  • ik_smart会将“清华大学”整个分为一个词
  • ik_max_word会将“清华大学”分为“清华大学”，“清华”和“大学”

修改默认分词方法：ik_max_word)：

PUT /indexname
{
 "settings" : {
 "index" : {
 "analysis.analyzer.default.type": "ik_max_word"
 }
 }
}

6、ES数据管理

  • ES是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。
  • 然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。
  • 在ES中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。ES使用JSON作为文档序列化格式。
  • JSON现在已经被大多语言所支持，而且已经成为NoSQL领域的标准格式。

6.1、基本操作

  • 创建索引：PUT /索引名称
  • 查询索引：GET /索引名称
  • 删除索引：DELETE /索引名称
  • 添加文档：PUT /索引名称/id
  • 修改文档：PUT /索引名称/id
  • 查询文档：GET /索引名称/id
  • 删除文档：格式: DELETE /索引名称/类型/id

6.2、查询操作

查询当前类型中的所有文档 _search

格式: GET /索引名称/类型/_search
举例: GET /es_db/_doc/_search
SQL:  select * from student

条件查询, 如要查询age等于28岁的 _search?q=:**

格式: GET /索引名称/类型/_search?q=*:***
举例: GET /es_db/_doc/_search?q=age:28
SQL:  select * from student where age = 28

范围查询, 如要查询age在25至26岁之间的 _search?q=*[ TO **] 注意:TO 必须为大写

格式: GET /索引名称/类型/_search?q=***[25 TO 26]
举例: GET /es_db/_doc/_search?q=age[25 TO 26]
SQL:  select * from student where age between 25 and 26

根据多个ID进行批量查询 _mget

格式: GET /索引名称/类型/_mget
举例: GET /es_db/_doc/_mget
 {
  "ids":["1","2"] 
 }
SQL:  select * from student where id in (1,2)

查询年龄小于等于28岁的 :<=

格式: GET /索引名称/类型/_search?q=age:<=**
举例: GET /es_db/_doc/_search?q=age:<=28
SQL:  select * from student where age <= 28

查询年龄大于28前的 :>

格式: GET /索引名称/类型/_search?q=age:>**
举例: GET /es_db/_doc/_search?q=age:>28
SQL:  select * from student where age > 28

分页查询 from=&size=

格式: GET /索引名称/类型/_search?q=age[25 TO 26]&from=0&size=1
举例: GET /es_db/_doc/_search?q=age[25 TO 26]&from=0&size=1
SQL:  select * from student where age between 25 and 26 limit 0, 1

对查询结果只输出某些字段 _source=字段,字段

格式: GET /索引名称/类型/_search?_source=字段,字段
举例: GET /es_db/_doc/_search?_source=name,age
SQL:  select name,age from student

对查询结果排序 sort=字段:desc/asc

格式: GET /索引名称/类型/_search?sort=字段 desc
举例: GET /es_db/_doc/_search?sort=age:desc
SQL:  select * from student order by age desc

7、DSL语言高级查询 - 简介 (Query、Filter)

  • ES提供了强大的查询语言（DSL），它可以允许我们进行更加强大、复杂的查询，Elasticsearch DSL中有Query与Filter两种

7.1、Query方式查询

  Query方式查询，会在ES中索引的数据都会存储一个_score分值，分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

1、根据名称精确查询姓名 term, term查询不会对字段进行分词查询，会采用精确匹配
注意: 采用term精确查询, 查询字段映射类型属于为keyword.

POST /es_db/_doc/_search
{
"query": {
 "term": {
 "name": "admin"
 }
 }
}
SQL: select * from student where name = 'admin'

2、根据备注信息模糊查询 match, match会根据该字段的分词器，进行分词查询

POST /es_db/_doc/_search
{
"from": 0,
"size": 2,
"query": {
"match": {
"address": "广州"
}
}
}
SQL: select * from user where address like '%广州%' limit 0, 2

3、多字段模糊匹配查询与精准查询 multi_match

POST /es_db/_doc/_search
{
"query":{
 "multi_match":{
 "query":"张三",
 "fields":["address","name"]
 }
 }
}
SQL: select * from student  where name like '%张三%' or address like '%张三%'

4、范围查询

  • range：范围关键字
  • gte 大于等于
  • lte 小于等于
  • gt 大于
  • lt 小于
  • now 当前时间
POST /es_db/_doc/_search
{
"query" : {
 "range" : {
 "age" : {
 "gte":25,
 "lte":28
 }
 }
  }
 }
SQL: select * from user where age between 25 and 28

5、分页、输出字段、排序综合查询

POST /es_db/_doc/_search
{
"query" : {
 "range" : {
 "age" : {
 "gte":25,
 "lte":28
 }
 }
},
"from": 0,
"size": 2,
"_source": ["name", "age", "book"],
"sort": {"age":"desc"}
}

7.2、Filter过滤器方式查询

  Filter过滤器方式查询，它的查询不会计算相关性分值，也不会对结果进行排序, 因此效率会高一点，查询的结果可以被缓存。

Filter Context 对数据进行过滤

POST /es_db/_doc/_search
{
"query" : {
 "bool" : {
 "filter" : {
 "term":{
 "age":25
 }
 }
 }
 }
}

8、文档映射

  ES中映射可以分为动态映射和静态映射

8.1、动态映射

  在关系数据库中，需要事先创建数据库，然后在该数据库下创建数据表，并创建表字段、类型、长度、主键等，最后才能基于表插入数据。而Elasticsearch中不需要定义Mapping映射（即关系型数据库的表、字段等），在文档写入Elasticsearch时，会根据文档字段自动识别类型，这种机制称之为动态映射。
动态映射规则如下：
在这里插入图片描述

8.2、静态映射

  静态映射是在Elasticsearch中也可以事先定义好映射，包含文档的各字段类型、分词器等，这种方式称之为静态映射。

1、设置文档映射

PUT /es_db
{
"mappings":{
"properties":{
"name":{"type":"keyword","index":true,"store":true},
"sex":{"type":"integer","index":true,"store":true},
"age":{"type":"integer","index":true,"store":true},
"book":{"type":"text","index":true,"store":true,"analyzer":"ik_smart","search_analyzer":"ik_smart"},
"address":{"type":"text","index":true,"store":true}
}
}
}

8.3、keyword 与 text 映射类型的区别

  • keyword 映射 （只能精准查询, 不能分词查询，能聚合、排序）
  • text 映射 （能模糊查询, 能分词查询，不能聚合、排序）

9、DSL语言高级查询

在这里插入图片描述

9.1、Query DSL概述

  • Domain Specific Language 领域专用语言
  • Elasticsearch提供了基于JSON的DSL来定义查询。
  • DSL由叶子查询子句和复合查询子句两种子句组成 (如上图)。

9.2、无查询条件

  • 无查询条件是查询所有，默认是查询所有的，或者使用match_all表示所有
GET /es_db/_doc/_search
{
"query":{
"match_all":{}
}

9.3、有查询条件 - 叶子条件查询(单字段查询条件)

1、模糊匹配
  模糊匹配主要是针对文本类型的字段，文本类型的字段会对内容进行分词，对查询时，也会对搜索条件进行分词，然后通过倒排索引查找到匹配的数据，模糊匹配主要通过match等参数来实现

  • match : 通过match关键词模糊匹配条件内容
  • prefix : 前缀匹配
  • regexp : 通过正则表达式来匹配数据

match的复杂用法：match条件还支持以下参数：

  • query : 指定匹配的值
  • operator : 匹配条件类型
      and : 条件分词后都要匹配
      or : 条件分词后有一个匹配即可(默认)
  • minmum_should_match : 指定最小匹配的数量

2、精确匹配

  • term : 单个条件相等
  • terms : 单个字段属于某个值数组内的值
  • range : 字段属于某个范围内的值
  • exists : 某个字段的值是否存在
  • ids : 通过ID批量查询

9.4、有查询条件 - 组合条件查询(多条件查询)

  组合条件查询是将叶子条件查询语句进行组合而形成的一个完整的查询条件

  • bool : 各条件之间有and,or或not的关系
      must : 各个条件都必须满足，即各条件是and的关系
      should : 各个条件有一个满足即可，即各条件是or的关系
      must_not : 不满足所有条件，即各条件是not的关系
      filter : 不计算相关度评分，它不计算_score即相关度评分，效率更高
  • constant_score : 不计算相关度评分

must/filter/shoud/must_not 等的子条件是通过 term/terms/range/ids/exists/match 等叶子条件为参数的
注：以上参数，当只有一个搜索条件时，must等对应的是一个对象，当是多个条件时，对应的是一个数组

9.5、有查询条件 - 连接查询(多文档合并查询)

  • 父子文档查询：parent/child
  • 嵌套文档查询: nested

9.6、有查询条件 - DSL查询 - query DSL

它们两个的区别如下图：
在这里插入图片描述

query DSL
  在查询上下文中，查询会回答这个问题——“这个文档匹不匹配这个查询，它的相关度高么？”
  如何验证匹配很好理解，如何计算相关度呢？ES中索引的数据都会存储一个_score分值，分值越高就代表越匹配。另外关于某个搜索的分值计算还是很复杂的，因此也需要一定的时间。

filter DSL
  在过滤器上下文中，查询会回答这个问题——“这个文档匹不匹配？”
  答案很简单，是或者不是。它不会去计算任何分值，也不会关心返回的排序问题，因此效率会高一点。
  过滤上下文 是在使用filter参数时候的执行环境，比如在bool查询中使用must_not或者filter
  另外，经常使用过滤器，ES会自动的缓存过滤器的内容，这对于查询来说，会提高很多性能。

Query方式查询:案例

1、根据名称精确查询姓名 term, term查询不会对字段进行分词查询，会采用精确匹配

注意: 采用term精确查询, 查询字段映射类型属于为keyword.

POST /es_db/_doc/_search
{
"query": {
"term": {
"name": "admin"
}
}
SQL: select * from student where name = 'admin'

2、根据备注信息模糊查询 match, match会根据该字段的分词器，进行分词查询

POST /es_db/_doc/_search
{
"from": 0,
"size": 2,
"query": {
"match": {
"address": "广州"
}
}
SQL: select * from user where address like '%广州%' limit 0, 2

3、多字段模糊匹配查询与精准查询 multi_match

POST /es_db/_doc/_search
{
"query":{
"multi_match":{
"query":"张三",
"fields":["address","name"]
}
}
SQL: select * from student  where name like '%张三%' or address like '%张三%'

4、未指定字段条件查询 query_string , 含 AND 与 OR 条件

POST /es_db/_doc/_search
{
"query":{
"query_string":{
"query":"广州 OR 长沙"
}
}

5、指定字段条件查询 query_string , 含 AND 与 OR 条件

POST /es_db/_doc/_search
{
"query":{
"query_string":{
"query":"admin OR 长沙",
"fields":["name","address"]
}
}

6、范围查询

POST /es_db/_doc/_search
{
"query" : {
"range" : {
"age" : {
"gte":25,
"lte":28
}
}
}
SQL: select * from user where age between 25 and 28

7、分页、输出字段、排序综合查询

POST /es_db/_doc/_search
{
"query" : {
"range" : {
"age" : {
"gte":25,
"lte":28
}
}
},
"from": 0,
"size": 2,
"_source": ["name", "age", "book"],
"sort": {"age":"desc"}

9.7、有查询条件 - DSL查询 - filter DSL

  Filter过滤器方式查询，它的查询不会计算相关性分值，也不会对结果进行排序, 因此效率会高一点，查询的结果可以被缓存。

Filter Context 对数据进行过滤

POST /es_db/_doc/_search
{
"query" : {
"bool" : {
"filter" : {
"term":{
"age":25
}
}
}
}

9.8、总结

  • match
    match：模糊匹配，需要指定字段名，但是输入会进行分词，比如"helloworld"会进行拆分为hello和world，然后匹配，如果字段中包含hello或者world，或者都包含的结果都会被查询出来，也就是说match是一个部分匹配的模糊查询。查询条件相对来说比较宽松。
  • term
    term: 这种查询和match在有些时候是等价的，比如我们查询单个的词hello，那么会和match查询结果一样，但是如果查询"hello world"，结果就相差很大，因为这个输入不会进行分词，就是说查询的时候，是查询字段分词结果中是否有"hello world"的字样，而不是查询字段中包含"hello world"的字样。当保存数据"hello world"时，elasticsearch会对字段内容进行分词，“hello world"会被分成hello和world，不存在"hello world”，因此这里的查询结果会为空。这也是term查询和match的区别。
  • match_phase
    match_phase：会对输入做分词，但是需要结果中也包含所有的分词，而且顺序要求一样。以"hello world"为例，要求结果中必须包含hello和world，而且还要求他们是连着的，顺序也是固定的，hello that world不满足，world hello也不满足条件。
  • query_string
    query_string：和match类似，但是match需要指定字段名，query_string是在所有字段中搜索，范围更广泛。

9.9、对已存在的mapping映射进行修改

  1. 如果要推倒现有的映射, 你得重新建立一个静态索引
  2. 然后把之前索引里的数据导入到新的索引里
  3. 删除原创建的索引
  4. 为新索引起个别名, 为原索引名
POST _reindex
{
"source": {
"index": "db_index"
},
"dest": {
"index": "db_index_2"
}
}

DELETE /db_index
PU /db_index_2/_alias/db_index

9.10、高亮显示

  • 在搜索中，经常需要对搜索关键字做高亮显示，高亮显示也有其常用的参数，在这个案例中做一些常用参数的介绍。
  • 现在搜索name字段中包含“手机”的document。并对“手机”做高亮显示，高亮效果使用html标签，并设定字体为红色。如果name数据过长，则只显示前20个字符。
{
	"query":  {
		"bool":  {
			"should":  [{
					"match":  {
						"title":   "文章"
					}
				},
				{ 
					"match":  { 
						"content":   "文章" 
					} 
				} 
			] 
		} 
	},
	 "highlight":  { 
		"fields":  { 
			"title":  {},
			 "content":  {} 
		} 
	}
}
}

9.11、手工控制搜索结果精准度

  如果在搜索的结果document中，需要remark字段中包含多个搜索词条中的一定比例，可以使用下述语法实现搜索。其中minimum_should_match可以使用百分比或固定数字。百分比代表query搜索条件中词条百分比，如果无法整除，向下匹配（如，query条件有3个单词，如果使用百分比提供精准度计算，那么是无法除尽的，如果需要至少匹配两个单词，则需要用67%来进行描述。如果使用66%描述，ES则认为匹配一个单词即可。）。固定数字代表query搜索条件中的词条，至少需要匹配多少个。

GET /es_db/_search
{
"query": {
"match": {
"remark": {
"query": "java architect assistant",
"minimum_should_match": "68%"
}
}
}

如果使用should+bool搜索的话，也可以控制搜索条件的匹配度。
具体如下：下述案例代表搜索的document中的remark字段中，必须匹配java、developer、assistant三个词条中的至少2个。

GET /es_db/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"remark": "java"
}
},
{
"match": {
"remark": "developer"
}
},
{
"match": {
"remark": "assistant"
}
}
],
"minimum_should_match": 2
}
}

9.12、boost权重控制

  • 搜索document中remark字段中包含java的数据，如果remark中包含developer或architect，则包含architect的document优先显示。（就是将architect数据匹配时的相关度分数增加）。
  • 一般用于搜索时相关度排序使用。如：电商中的综合排序。将一个商品的销量，广告投放，评价值，库存，单价比较综合排序。在上述的排序元素中，广告投放权重最高，库存权重最低。
GET /es_db/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"remark": "java"
}
}
],
"should": [
{
"match": {
"remark": {
"query": "developer",
"boost" : 1
}
}
},
{
"match": {
"remark": {
"query": "architect",
"boost" : 3
}
}
}
]
}
}
}

9.13、match phrase

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/510580.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Class 00 - 学习编程的方法不同职业所使用的编程语言

Class 00 - 学习编程的方法不同职业所使用的编程语言

Class 00 - 学习编程的方法&不同职业所使用的编程语言 学习编程的方法什么是编程&#xff1f;不同职业所使用的编程语言数据分析网页设计移动应用开发Web应用开发游戏开发 Tips&#xff1a;学习编程语言的技巧 从电子表格到 SQL 再到 R电子表格、SQL和R:一个比较 学习编程的…
阅读更多...
根据端口查询该程序占用的内存 gpu

根据端口查询该程序占用的内存 gpu

系列文章目录 提示&#xff1a;这里可以添加系列文章的所有文章的目录&#xff0c;目录需要自己手动添加 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 系列文章目录前言一、如何根据端口号查询该程序的占用内存…
阅读更多...
JavaScript语法基础

JavaScript语法基础

js学习路线 数据判度 1&#xff0c;类型分类undefined,Null,Number,String,Boolean 2,类型判断typeof操作符 var sTemp “tesst” 例如alert(typeos sTemp); //输出String alert(typeof 23);//输出number 3&#xff0c;instanceof操作符&#xff1a;用于判断一个引用类型属于…
阅读更多...
【C++】C++中的继承

【C++】C++中的继承

目录 一.继承的概念和定义1.继承的概念2.继承定义2.1定义格式2.2继承关系和访问限定符2.3继承基类成员访问方式的变化 二.基类和派生类对象赋值转换三.继承中的作用域四.派生类的默认成员函数五.继承和友元六.继承与静态成员七.复杂的菱形继承及菱形虚拟继承1.单继承2.多继承3.…
阅读更多...
React 中 TypeScript 和装饰器及 Hooks

React 中 TypeScript 和装饰器及 Hooks

概念 TypeScript 是强类型语言&#xff0c;相对于JavaScript 弱类型语言&#xff0c;它具有类型检测的功能&#xff0c;扩展了JavaScript 的语法。 TS的安装与执行&#xff1a; //全局安装typescript npm install typescript -g// 第二个因为 本来的node是不可能支持 ts那种民…
阅读更多...
2023网络安全学习路线 非常详细 推荐学习

2023网络安全学习路线 非常详细 推荐学习

前言&#xff1a;首先咱们聊聊&#xff0c;学习网络安全方向通常会有哪些问题 目录&#xff1a; 1、打基础时间太长 学基础花费很长时间&#xff0c;光语言都有几门&#xff0c;有些人会倒在学习 linux 系统及命令的路上&#xff0c;更多的人会倒在学习语言上&#xff1b; …
阅读更多...
SSD系列1——网络结构

SSD系列1——网络结构

SSD系列&#xff1a; SSD系列1——网络结构 SSD系列2——PriorBox SSD系列3——损失计算 SSD网络结构概述 SSD在VGGNet的基础上&#xff0c;增加了4个卷积模块&#xff0c;这些卷积模块获得的特征图具有不同的感受野&#xff0c;可以较好地检测不同尺度的目标。 VGG16 SSD网络…
阅读更多...
springboot 断点上传、续传、秒传实现

springboot 断点上传、续传、秒传实现

文章目录 前言一、实现思路二、数据库表对象二、业务入参对象三、本地上传实现三、minio上传实现总结 前言 springboot 断点上传、续传、秒传实现。 保存方式提供本地上传&#xff08;单机&#xff09;和minio上传&#xff08;可集群&#xff09; 本文主要是后端实现方案&…
阅读更多...
AI绘画：Lora模型训练完整流程！

AI绘画：Lora模型训练完整流程！

关于AI绘画(基于Stable Diffusion Webui)&#xff0c;我之前已经写过三篇文章&#xff0c;分别是 软件安装&#xff0c;基本的使用方法&#xff0c;微调模型LoRA的使用。 整体来说还是比简单的&#xff0c;搞个别人的模型&#xff0c;搞个提示词就出图了。今天来一个有些难度…
阅读更多...
推荐11个好用的prompt工具网站（附链接+论文）

推荐11个好用的prompt工具网站（附链接+论文）

同学们&#xff0c;你们prompt是自己苦哈哈码的吗&#xff1f;可别了&#xff0c;有现成的工具为啥不用&#xff1f; 今天我就和大家分享一些好用的prompt工具网站&#xff0c;用熟了ChatGPT、midjourney、stable diffusion能玩起来更爽&#xff01;搜罗了有十几个&#xff0c…
阅读更多...
智能汽车实验二(视觉传感器标定)

智能汽车实验二(视觉传感器标定)

实验二 视觉传感器标定&#xff08;实验报告&#xff09; 【实验目的】 1、了解开源图像处理库OpenCV的结构&#xff0c;掌握OpenCV的基本使用方法。 2、了解开源图像处理库OpenCV的基本模块功能&#xff0c;掌握常用图像处理方法。 3、掌握摄像机标定算法&#xff0c;学会使用…
阅读更多...
Xilinx 7系列FPGA内置ADC

Xilinx 7系列FPGA内置ADC

Xilinx 7系列FPGA全系内置了一个ADC&#xff0c;称之为XADC。这个XADC&#xff0c;内部是两个1mbps的ADC&#xff0c;可以采集模拟信号转为数字信号送给FPGA内部使用。 XADC内部可以直接获取芯片结温和FPGA的若干供电电压&#xff08;7系列不包括VCCO&#xff09;&#xff0c;用…
阅读更多...
麒麟KylinV10SP1(2203)推荐安装一些硬件监控类软件与使用

麒麟KylinV10SP1(2203)推荐安装一些硬件监控类软件与使用

目录 前言 1、tlp 电源管理 &#xff08;1&#xff09;查看电池容量、使用量、为Thinkpad设定电池充电开始结束阈值 &#xff08;2&#xff09;查看硬盘比如NVME SSD的型号种类、当前温度、读写量等信息&#xff1b; &#xff08;3&#xff09;查看CPU型号以及频率上下限、…
阅读更多...
软件测试简单么，发展前景如何?

软件测试简单么，发展前景如何?

随着人工智能时代的到来&#xff0c;IT行业受到了越来越多人的重视。软件测试作为把控软件质量必不可少的环节&#xff0c;其重要性可见一斑。 软件测试可以说是算得上IT行业里相对简单的语言&#xff0c;但是也只是相对哈&#xff0c;如果想学习下去还是要看个人的学习能力的…
阅读更多...
软件测试工作内容和职责有哪些

软件测试工作内容和职责有哪些

目前&#xff0c;在IT行业中测试的职位数量仅次于开发&#xff0c;可以说是第二大技术就业岗位。然而许多人对测试师工作的理解还停留在&#xff0c;只需要像用户一样使用产品&#xff0c;然后发现有问题提交报告就行了。其实这是极其不准确的&#xff0c;软件测试师在测试产品…
阅读更多...
通过Dnspy调试解决powershell使用Install-module指定的转换无效的问题

通过Dnspy调试解决powershell使用Install-module指定的转换无效的问题

之前运行Install-module -Name NtObjectManager出现以下错误&#xff1a; PackageManagement\Install-Package : Package NtObjectManager failed to be installed because: 指定的转换无效。 At C:\Program Files\WindowsPowerShell\Modules\PowerShellGet\1.0.0.1\PSModule.…
阅读更多...
Shell编程之排序

Shell编程之排序

目录 一、冒泡排序 二、选择排序 三、插入排序 基本思想&#xff1a; 四、反转排序 基本思想&#xff1a; 五、睡眠排序 六、希尔排序 基本思想&#xff1a; 举例 一、冒泡排序 冒泡排序&#xff0c;该排序的命名非常形象&#xff0c;即一个个将气泡冒出。冒泡排序一…
阅读更多...
ChatDOC工具——使用ChatGPT高效阅读技术科研论文

ChatDOC工具——使用ChatGPT高效阅读技术科研论文

ChatDOC是一款功能强大的人工智能阅读辅助工具&#xff0c;专为帮助用户快速理解论文内容而设计。使用ChatDOC&#xff0c;您可以通过上传PDF版论文文献&#xff0c;利用先进的ChatGPT技术&#xff0c;只需三个简单步骤&#xff0c;便可以高效地阅读论文&#xff0c;提高阅读效…
阅读更多...
TypeScript初识

TypeScript初识

目录 介绍 定义 优点 类型声明 ts文件编译选项 自动编译 编译选项的各个属性 include compilerOptions 介绍 定义 TS&#xff08;TypeScript&#xff09;是一种由微软开发的编程语言&#xff0c;它是 JavaScript 的一个超集&#xff0c;提供了静态类型检查、类、接…
阅读更多...
Linux系统编程——多线程[中]：互斥与同步

Linux系统编程——多线程[中]：互斥与同步

0.关注博主有更多知识 操作系统入门知识合集 目录 1.并发过程中的问题 2.互斥 2.1互斥锁 2.2如何看待互斥锁 2.3加锁和解锁的本质 2.4对锁做一个封装 2.5可重入函数与线程安全 2.6死锁 3.同步 3.1条件变量 1.并发过程中的问题 我们知道&#xff0c;同一个进程中的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023