如何优化因为高亮造成的大文本（大字段）检索缓慢问题

news2025/1/11 6:55:34

首先还是说一下背景，工作中用到了 elasticsearch 的检索以及高亮展示，但是索引中的content字段是读取的大文本内容，所以后果就是索引的单个字段很大，造成单独检索请求的时候速度还可以，但是加入高亮之后检索请求的耗时就非常的慢了。所以本文从更换高亮器类型的角度来解决因为高亮造成的检索请求缓慢的问题。

ES的抵消策略

在文章开始前先简单介绍一个elasticsearch的策略，为了在检索的字段中创建出一个有意义的高亮片段，高亮器会使用原始文本的开始和结束字符串的偏移量，偏移量的获取可以从一下方式获得

  • postings list：如果在mapping中index_options设置为offsets，unified高亮器使用此信息高亮显示文档而不用再次分析文本。
  • term vectors：如果我们在mapping中设置term_vector为with_positions_offsets，则unified高亮器会自动使用term_vector来高亮显示，对于大于1M的大字段，使用term_vector速度会很快，fvh高亮器就是使用的term_vector。
  • plain highlighting：当unified没有其他的选择的时候会使用plain模式，它会创建了一个微小的内存索引，并通过Lucene的查询执行计划器重新运行原始查询条件。plain高亮器默认使用的就是此模式

大文本的纯高亮展示可能需要大量的时间和内存，为了防止这种情况，es默认将大文本的字符数量限制为1000000，可以使用index.highlight.max_analyzed_offset修改此默认设置

一、FVH高亮器简介

FVH（Fast Vector Highlighter）是Elasticsearch高亮器中的一种算法，使用的是Lucene Fast Vector highlighter，它能够快速而准确地在文本中找到匹配的关键词，并将其标记为高亮。相比于其他高亮器算法，FVH在性能上有着显著的优势，特别适用于大规模数据集和高并发的场景。

二、FVH高亮器的使用方法

安装

首先，确保已经正确安装了 Elasticsearch

version: '3.8'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
     - "9000:9000"
    command:
     - -Dhosts.0.host=http://eshot:9200
    networks:
     - elastic
  kibana:
    image: docker.elastic.co/kibana/kibana:8.1.3
    container_name: kibana
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
      - ELASTICSEARCH_HOSTS=http://eshot:9200
      - server.publicBaseUrl=http://192.168.160.234:5601
    ports:
      - "5601:5601"
    networks:
      - elastic
  eshot:
    image: elasticsearch:8.1.3
    container_name: eshot
    environment:
      - node.name=eshot
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=hot
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eshot\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eshot\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
    networks:
      - elastic
  eswarm:
    image: elasticsearch:8.1.3
    container_name: eswarm
    environment:
      - node.name=eswarm
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=warm
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eswarm\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eswarm\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
  escold:
    image: elasticsearch:8.1.3
    container_name: escold
    environment:
      - node.name=escold
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=cold
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\escold\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\escold\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic

# volumes:
#   eshotdata:
#     driver: local
#   eswarmdata:
#     driver: local
#   escolddata:
#     driver: local

networks:
  elastic:
    driver: bridge

创建索引

在使用FVH高亮器之前，需要先创建一个索引，并将需要高亮的字段进行映射。例如，我们要在content字段中进行高亮，可以使用以下代码：

PUT /example_target
{
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_max_word",
        "term_vector": "with_positions_offsets"
      },
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
        "term_vector": "with_positions_offsets"
      }
    }
  }
}

添加测试数据

POST example_target/_doc
{
  "content":"中华人民共和国是否考虑是否就爱上速度加快分解ask计算机卡死撒中华上的飞机拉丝机是的地方记录 卡就是开发建设看积分卡说了句 ask就疯狂萨拉丁就发士大 sdf 看得见啊李开复 圣诞节卡了 夫哈数据库中华啊，中华，人民爱上中华",
  "title":"中华人名共和国"
}

查询并高亮

使用FVH高亮器进行查询和高亮的过程如下所示：

GET example_target/_search
{
  "query": {
    "match": {
      "content": "中华 爱上"
    }
  },
  "highlight": {
    "pre_tags": "<em>",
    "post_tags": "</em>", 
    "require_field_match": "false", 
    "fields": {
      "content": {
         "type": "fvh",
        "fragment_size": 18,
        "number_of_fragments": 3
      }
    }
  }
}

以上代码中，我们通过match查询找到了包含关键词的文档，然后在highlight内容中指定了需要高亮的字段，这里是content。执行述查询后，Elasticsearch将返回匹配的结果，并在content字段中添加了高亮标记。

数据量少的时候对比不是特别明显，所以在测试时，可以在索引中添加大量的测试数据进行测试，本人在测试过程中es的索引大小在500M左右，单个字段纯文本大小也有1-2M。此时这种数据规模下使用普通的高亮器在检索请求时就已经非常缓慢了，根据返回的数据量多少来决定，在取10条数据时已经能达到6秒了，但是在使用fvh高亮器之后时间已经进入毫秒级

三、FVH高亮器的参数配置

先看一下返回的数据结果在对照下面参数学习

{
  "took" : 4,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 3,
      "relation" : "eq"
    },
    "max_score" : 0.41193593,
    "hits" : [
      {
        "_index" : "example_target",
        "_id" : "f1rkC4oBCDmhQc2yo6PQ",
        "_score" : 0.41193593,
        "_source" : {
          "content" : "中华人民共和国是否考虑是否就爱上速度加快分解ask计算机卡死撒中华上的飞机拉丝机是的地方记录 卡就是开发建设看积分卡说了句 ask就疯狂萨拉丁就发士大 sdf 看得见啊李开复 圣诞节卡了 夫哈数据库中华啊，中华，人民爱上中华"
        },
        "highlight" : {
          "content" : [
            "<em>中华</em>人民共和国是否考虑是否就<em>爱上</em>速度",
            "sk计算机卡死撒<em>中华</em>上的飞机拉丝机是的地方记录",
            "夫哈数据库<em>中华</em>啊，<em>中华</em>，人民<em>爱上</em>中华"
          ]
        }
      },
      {
        "_index" : "example_target",
        "_id" : "G3Fi44kB4IVEhjafHXOf",
        "_score" : 0.33311102,
        "_source" : {
          "content" : "中华人民共和国是否考虑是否就爱上速度加快分解ask计算机卡死撒中华上的飞机拉丝机是的地方记录卡就是开发建设看积分卡说了句ask就疯狂萨拉丁就发士大夫哈数据库"
        },
        "highlight" : {
          "content" : [
            "<em>中华</em>人民共和国是否考虑是否就<em>爱上</em>速度",
            "sk计算机卡死撒<em>中华</em>上的飞机拉丝机是"
          ]
        }
      },
      {
        "_index" : "example_target",
        "_id" : "HHFt44kB4IVEhjafE3Ov",
        "_score" : 0.31932122,
        "_source" : {
          "content" : "中华人民共和国是否考虑是否就爱上速度加快分解ask计算机卡死撒中华上的飞机拉丝机是的地方记录 卡就是开发建设看积分卡说了句 ask就疯狂萨拉丁就发士大 sdf 看得见啊李开复 圣诞节卡了 夫哈数据库"
        },
        "highlight" : {
          "content" : [
            "<em>中华</em>人民共和国是否考虑是否就<em>爱上</em>速度",
            "sk计算机卡死撒<em>中华</em>上的飞机拉丝机是的地方记录"
          ]
        }
      }
    ]
  }
}

通过上面的查询请求中高亮参数的指定可以发现，高亮器还是支持其他的参数的，那么我们下面将对几个常用的参数进行说明

  • fragment_size：指定每个高亮片段的长度，默认为100个字符。

  • number_of_fragments：指定返回的高亮片段数量，默认为5个。

  • pre_tags和post_tags：分别指定高亮标记的前缀和后缀，默认为<em>和</em>。

  • require_field_match：指定是否要求所有字段都匹配关键词才进行高亮，默认为true。可以开启关闭此参数对上面的title字段进行校验

  • type：指定fvh高亮器，除了fvh之外还有unified，plain。

    • unified 是默认的高亮器，可以将文本分解为句子，并使用BM25算法对单个句子进行评分，还支持精确的短语高亮显示，支持（fuzzy，prefix，regex）高亮。
    • plain 普通的高亮器，适用与简单的查询或者单个字段的匹配。为了准确的反应查询逻辑，它会在内存中创建一个很小的索引，来对原始的查询语句进行执行，来访问当前更低级别的匹配信息。

在使用FVH高亮器时，根据实际需求，可以灵活地调整这些参数，以获得最佳的高亮效果。

总结

通过本文的介绍，我们了解了Elasticsearch高亮器中的FVH算法，并学会了如何使用它为搜索结果增添亮点。FVH高亮器在性能和功能上都有着明显的优势，对于大规模数据集和高并发的场景尤为适用。希望读者通过本文的指引，能够更好地利用FVH高亮器来提升搜索结果的可读性和用户体验。

参考链接

https://www.elastic.co/guide/en/elasticsearch/reference/8.1/highlighting.html

如果感觉本文对你有所帮助欢迎点赞评论转发收藏。如果你想了解更多关于ES的骚操作，更多实战经验，欢迎关注。

原文链接
https://mp.weixin.qq.com/s?__biz=MzIwNzYzODIxMw==&mid=2247486065&idx=1&sn=28ee03fd0e297eb0c5d62405446d4551&chksm=970e11dba07998cd53a3a16e39e396172c3e3b46f96bab0e097eeab08fefb93c63b0d48fe380#rd

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/916018.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

最新议程 | OffiSmart智慧办公及空间管理峰会

最新议程 | OffiSmart智慧办公及空间管理峰会

【OffiSmart智慧办公及空间管理峰会】是SSOT旗下品牌高峰论坛&#xff0c;自2019年在展会现场同期推出以来&#xff0c;邀请众多专家学者、企业高管、从业人员参与其中&#xff0c;收到行业多方称赞。 今年规模和精彩程度再度升级&#xff0c;覆盖所有人群和细分领域。以用户为…
阅读更多...
计算机视觉入门 6） 数据集增强（Data Augmentation）

计算机视觉入门 6） 数据集增强（Data Augmentation）

系列文章目录 计算机视觉入门 1&#xff09;卷积分类器计算机视觉入门 2&#xff09;卷积和ReLU计算机视觉入门 3&#xff09;最大池化计算机视觉入门 4&#xff09;滑动窗口计算机视觉入门 5&#xff09;自定义卷积网络计算机视觉入门 6&#xff09; 数据集增强&#xff08;D…
阅读更多...
jvs-rules（规则引擎）更新：新增功能介绍

jvs-rules（规则引擎）更新：新增功能介绍

jvs-rules更新内容 1.复合变量新增数据补充节点&#xff0c;实现请求回来的数据再以入参方式请求其他数据进行数据补充&#xff08;例如通过参数A&#xff0c;请求回数据B&#xff0c;再以数据B为入参&#xff0c;请求回数据C&#xff09; 2.规则流结束节点支持新增、新建、引…
阅读更多...
【算法】活用双指针完成复写零操作

【算法】活用双指针完成复写零操作

Problem: 1089. 复写零 文章目录 题目解析算法原理分析找到最后一个复写的位置从后往前进行复写操作 代码展示 题目解析 首先我们来分析一下本题的题目意思 可以看到题目中给到了一个数组&#xff0c;意思是让我们将数组中的零元素都复写一遍&#xff0c;然后将其余的元素向后平…
阅读更多...
细菌感染后抗生素耐药性如何形成以及预测抗生素对肠道菌群的影响

细菌感染后抗生素耐药性如何形成以及预测抗生素对肠道菌群的影响

谷禾健康 抗生素耐药性是当下和未来几十年人类健康将面临的重要挑战之一。从2000年到2015年&#xff0c;抗菌药物的普及导致人类抗生素消耗量增加了约65%&#xff0c;2015年后这个数据还在增加。最明显的后果是抗生素耐药性的增多&#xff0c;这使得近年来常见的感染难以治疗。…
阅读更多...
网络聊天室

网络聊天室

一、项目要求 利用UDP协议&#xff0c;实现一套聊天室软件。服务器端记录客户端的地址&#xff0c;客户端发送消息后&#xff0c;服务器群发给各个客户端软件。 问题思考 客户端会不会知道其它客户端地址&#xff1f; UDP客户端不会直接互连&#xff0c;所以不会获知其它客…
阅读更多...
Flutter对象状态动态监听Watcher

Flutter对象状态动态监听Watcher

场景&#xff1a;当一个表单需要在表单全部或者特定项赋值后才会让提交按钮可点击。 1.普通实现方式&#xff1a; ///场景&#xff1a;检查[test11][test12][test13]均不为空时做一些事情&#xff0c;例如提交按钮变成可点击String? test11;String? test12;int? test13;///当…
阅读更多...
Linux后门大全-xinetd后门（二）

Linux后门大全-xinetd后门（二）

环境 靶机&#xff1a;centos7.6 攻击机&#xff1a;Linux 使用docker搭建靶机环境&#xff0c;当然也可以不使用docker&#xff0c;直接跳过创建容器的步骤即可 创建容器 #创建名为backdoorT4的特权容器&#xff0c;并使用/usr/sbin/init&#xff0c;因为容器默认不开启sy…
阅读更多...
YOLOv5改进系列（23）——替换主干网络之MobileViTv2（移动视觉 Transformer 的高效可分离自注意力机制）

YOLOv5改进系列（23）——替换主干网络之MobileViTv2（移动视觉 Transformer 的高效可分离自注意力机制）

【YOLOv5改进系列】前期回顾： YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析 YOLOv5改进系列（1）——添加SE注意力机制
阅读更多...
Linux操作系统面试题汇总

Linux操作系统面试题汇总

Linux操作系统 1.Linux操作命令 Linux 目录结构及常用命令详细介绍参考 2.在Linux中find和grep的区别&#xff1f; 在Linux中&#xff0c;find命令用于按照指定条件搜索文件或目录&#xff0c;而grep命令则用于在文件中搜索指定的文本字符串。具体来说&#xff0c;find命令可…
阅读更多...
Android 13 - Media框架（6）- NuPlayer

Android 13 - Media框架（6）- NuPlayer

上一节我们通过 NuPlayerDriver 了解了 NuPlayer 的使用方式&#xff0c;这一节我们一起来学习 NuPlayer 的部分实现细节。 ps&#xff1a;之前用 NuPlayer 播放本地视频很多都无法播放&#xff0c;所以觉得它不太行&#xff0c;这两天重新阅读发现它的功能其实很全面&#xff…
阅读更多...
鸿鹄工程项目管理系统 Spring Cloud+Spring Boot+前后端分离构建工程项目管理系统 em

鸿鹄工程项目管理系统 Spring Cloud+Spring Boot+前后端分离构建工程项目管理系统 em

工程项目管理软件&#xff08;工程项目管理系统&#xff09;对建设工程项目管理组织建设、项目策划决策、规划设计、施工建设到竣工交付、总结评估、运维运营&#xff0c;全过程、全方位的对项目进行综合管理 工程项目各模块及其功能点清单 一、系统管理 1、数据字典&#xff…
阅读更多...
c++代码代码逻辑走查

c++代码代码逻辑走查

自助生物采集代码 C部分流程
阅读更多...
QA2

QA2

1. import shutil 是什么意思&#xff1f; 在 Python 中&#xff0c;import shutil 是导入标准库 shutil 的语句。shutil 提供了一些用于复制文件和文件夹、移动文件和文件夹、以及执行其他文件操作的函数。 通过导入 shutil&#xff0c;你可以使用其中的函数来处理文件和文件…
阅读更多...
LLM-Rec:基于提示大语言模型的个性化推荐

LLM-Rec:基于提示大语言模型的个性化推荐

1. 基本信息 论文题目:LLM-Rec: Personalized Recommendation via Prompting Large Language Models 作者:Hanjia Lyu, Song Jiang, Hanqing Zeng, Yinglong Xia, Jiebo Luo 机构:University of Rochester, University of California Los Angeles, Meta AI, University of Ro…
阅读更多...
带你了解SpringBoot---开启Durid 监控

带你了解SpringBoot---开启Durid 监控

文章目录 数据库操作--开启Durid 监控整合Druid 到Spring-Boot官方文档基本介绍Durid 基本使用代码实现 Durid 监控功能-SQL 监控需求:SQL 监控数据SQL 监控数据-测试页面 Durid 监控功能-Web 关联监控需求:Web 关联监控配置-Web 应用、URI 监控重启项目 Durid 监控功能-SQL 防…
阅读更多...
中文编码问题：raw_input输入、文件读取、变量比较等str、unicode、utf-8转换问题

中文编码问题：raw_input输入、文件读取、变量比较等str、unicode、utf-8转换问题

最近研究搜索引擎、知识图谱和Python爬虫比较多&#xff0c;中文乱码问题再次浮现于眼前。虽然市面上讲述中文编码问题的文章数不胜数&#xff0c;同时以前我也讲述过PHP处理数据库服务器中文乱码问题&#xff0c;但是此处还是准备简单做下笔记。方便以后查阅和大家学习。 …
阅读更多...
赛博打灰，中年失业？嵌入式行业不一样！

赛博打灰，中年失业？嵌入式行业不一样！

互联网风潮在中国已经刮了几十年&#xff0c;已经有许多人借着这个风口飞上了天&#xff0c;这片领域的竞争也越来越激烈&#xff0c;俨然变成了一片红海&#xff0c;连带着计算机专业的就业都愁云惨淡&#xff0c;被人戏称为赛博打灰、中年失业。 但是&#xff0c;对于计算机专…
阅读更多...
商城-学习整理-高级-分布式事务（十九）

商城-学习整理-高级-分布式事务（十九）

目录 一、本地事务1、事务的基本性质2、事务的隔离级别3、事务的传播行为4、SpringBoot 事务关键点 二、分布式事务1、为什么有分布式事务2、CAP 定理与 BASE 理论1、CAP 定理2、面临的问题3、BASE 理论4、强一致性、弱一致性、最终一致性 3、分布式事务几种方案1&#xff09;、…
阅读更多...
睿思BI旗舰版V5.3正式发布

睿思BI旗舰版V5.3正式发布

发布时间&#xff1a;2023-7-20 主要更新内容: 1.增加3D地图功能 2.增加水球图 3.增加扇形图&#xff0c;在数据大屏 - 自定义组件中定义。 4.增加指标引导线功能&#xff0c;在数据大屏 - 自定义组件中定义。 5.详情页增加回调函数功能。 6.大屏/仪表盘模版下载&#xff0c;…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023