springboot——集成elasticsearch进行搜索并高亮关键词

news2024/11/24 7:16:14

目录

1.elasticsearch概述

3.springboot集成elasticsearch

4.实现搜索并高亮关键词


1.elasticsearch概述

(1)是什么:

Elasticsearch 是位于 Elastic Stack 核心的分布式搜索和分析引擎。

Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但Lucene 只是一个基于java下的库,需要使用 Java 并要将其集成到你的应用中才可进行使用。而Elasticsearch 则是基于Lucene 下实现的开源搜索引擎。

Elasticsearch 基于分布式进行实时文件存储,每个字段都被索引并可被搜索,并可进行实时分析。同事由于基于分布式,可以扩展到上百台服务器,处理PB级结构化或非结构化数据。

(2)核心概念:

elasticsearch可归类于NoSQL的一种,其主要包含index(索引)、type(类型,elasticsearch 7.x后已被舍弃)、Document(文档)、Fields(字段)。

类比于MySQL如下:

其实现的核心在于倒排索引: 指的是将文档内容中的单词作为索引,将包含该词的文档 ID 作为记录。

一般的sql中都是正排索引,即以表中的唯一标识id作为索引,通过主键索引找到文档其他内容(具体请参考mysql存储结构)。

而elasticsearch通过关键字作为索引反向找到文档ID,可以高效的实现全文检索。

如我们有以下两条记录:

idcontentwriter
1这是一条测试数据,测试elasticsearchseven
2这是第二条、测试数据,试一下elasticsearch搜索seven

以上两条数据,在mysql中id为主键,当我们以elasticsearch以关键词搜索去搜查所有和elasticsearch有关的content时,在没有为content建索引的情况下,无法走主键索引,mysql会进行全表检索,效率一般。

而elasticsearch中会为content建立倒排索引,根据content找到对应的id,返回搜索结果,效率快鱼mysql。并且,整个搜索过程中我们不需要做任何文本的模糊匹配。

(3)应用场景:

ElasticSearch作为一个便于使用的分布式全文搜索引擎,常被用于各种搜索场景中:

  • 维基百科,百度等搜索引擎,对关键词和内容概要进行匹对,并对搜索的关键词进行高亮。
  • 电商平台,对关键词和商品名称、标题进行匹配,并对对搜索的关键词进行高亮。
  • 论坛,对关键词和帖子内容及评论等快速匹配,并对搜索关键词进行高亮。

总之言之, ElasticSearch是一个优秀的检索工具,可以对各类内容进行快速检索,并返回结果:

(检索关键词并进行高亮)

一般情况我们会在数据存入数据库前,把需要检索的字段作为ElasticSearch的索引和需要返回的数据存入ElasticSearch(比如电商平台达到商品标题),然后在搜索时使用ElasticSearch进行全文检索,快速返回相关结果。

3.springboot集成elasticsearch

下面对springboot集成elasticsearch进行演示:

pom依赖文件:

    <properties>
        <java.version>1.8</java.version>
        <elasticsearch.version>7.6.1</elasticsearch.version>
    </properties>

    <dependencies>
        <!-- fastjson -->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.70</version>
        </dependency>
        <!-- ElasticSearch -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <!-- web -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- lombok 需要安装插件 -->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <!-- test -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

此处需要注意的是springboot自带的ElasticSearch版本为6.8.5 ,如果你使用的是其他版本的ElasticSearch请注意指定版本号。

config配置文件,对ElasticSearch进行连接:

@Configuration
public class ElasticSearchConfig {
    @Bean
    public RestHighLevelClient restHighLevelClient(){
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("127.0.0.1",9200,"http")
                )
        );
        return client;
    }
}

至此,我们皆可以通过 RestHighLevelClient 对ElasticSearch进行使用

4.实现搜索并高亮关键词

下面对 ElasticSearch进行使用,进行查询并高亮关键词。

首先我们建立索引:user,并存入以下数据:

然后,我们在业务类编写查询方法:

//查询
    public List<User> searchUserByKeyword(String keyword,int pageNo,int pageSize) throws IOException {
        if (pageNo<=1){
            pageNo=1;
        }
        //条件查询
        SearchRequest searchRequest = new SearchRequest("user");
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();

        //分页
        searchSourceBuilder.from(pageNo);
        searchSourceBuilder.size(pageSize);

        //匹配关键词(类似于模糊查询)
        //MatchQueryBuilder queryBuilder = QueryBuilders.matchQuery("sign",keyword);
        //组合查询
        BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
        //and查询,所有条件都要符合;    or查询可以使用queryBuilder.should
        queryBuilder.must(QueryBuilders.matchQuery("sign",keyword));
        queryBuilder.must(QueryBuilders.matchQuery("statue","use"));
        //精确匹配
        //TermQueryBuilder queryBuilder = QueryBuilders.termQuery("sign",keyword);
        searchSourceBuilder.query(queryBuilder);

        //设置高亮
        //highlightBuilder.requireFieldMatch(false);   //只需要高亮第一个
        searchSourceBuilder.highlighter(new HighlightBuilder().field("sign"));

        //执行
        searchRequest.source(searchSourceBuilder);
        SearchResponse response = restHighLevelClient.search(searchRequest, RequestOptions.DEFAULT);

        //解析结果
        List<User> list = new ArrayList<>();
        for (SearchHit hit: response.getHits().getHits()){
            //解析高亮字段
            Map<String, HighlightField> highlightFields = hit.getHighlightFields();
            HighlightField sign = highlightFields.get("sign");
            //获取原字段
            Map<String, Object> oldUser = hit.getSourceAsMap();
            //将高亮替换原字段内容
            StringBuilder stringBuilder = new StringBuilder();
            if (sign!=null){
                Text[] texts = sign.fragments();
                for (Text t:texts){
                    stringBuilder.append(t);
                }
                log.info("替换:"+stringBuilder);
                oldUser.put("sign",stringBuilder.toString());
            }

            User user = JSONObject.parseObject(hit.getSourceAsString(),User.class);
            user.setSign(oldUser.get("sign").toString());
            list.add(user);
        }
       return list;
    }

ElasticSearch的match配置是拆字匹配,即关键词为“测试”,那么会查询出所有目标字段中包含“测”和“试”任一字符的结果;若为“java”则不会对字母进行拆分,会保持整个单词完整。

上述代码需要注意的是,高亮的字段必须是查询的字段,才可以对查询的关键词进行高亮处理,否则高亮字段会为空。

编写controller进行测试:

@RestController
public class SearchController {

    @Resource
    private SearchService searchService;

    @GetMapping("/test")
    public List<User> test(@RequestParam("keyword")String keyword) throws IOException {
        return searchService.searchUserByKeyword(keyword,0,5);
    }
}

结果:

成功查询所有sign包含java关键词且statue为use的用户,并对java关键词进行高亮(em标签,需要使用html进行解析)。

拓展:

(1)ElasticSearch还可以对搜索结果进行排序:

searchSourceBuilder.sort("age");

上述代码即根据age字段对搜索结果进行排序。

(2)过滤查询条件:

        BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery();
        //过滤statue!=use的数据
        queryBuilder.filter(QueryBuilders.matchPhraseQuery("statue","use"));
        //过滤age不大于20的数据
        queryBuilder.filter(QueryBuilders.rangeQuery("age").gt(20));

具体还有很多查询条件,具体可参考ElasticSearch官网文档。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/422169.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

软测界的黑科技,难道不来瞧瞧?

写在前面&#xff1a; 在当今互联网时代&#xff0c;软件已经渗透到了人们生活的方方面面&#xff0c;各种类型的软件应运而生&#xff0c;为人们的工作和生活提供了更便捷的服务。然而&#xff0c;随着软件的不断增长和复杂性的不断提高&#xff0c;软件测试变得越来越重要。…

字节跳动AI-LAB | 算法三轮技术面分享

作者 | 太蔡了整理 | NewBeeNLP面试锦囊之面经分享系列&#xff0c;持续更新中 可以后台回复"面试"加入交流讨论组噢写在前面楼主是C9末流渣硕一枚&#xff0c;现在已经正式确定offer要去我宇宙条了&#xff01;当时为了准备面试几乎把网上头条的面经翻了个底朝天&am…

php(phar)反序列化漏洞及各种绕过姿势

概念&#xff1a; 序列化其实就是将数据转化成一种可逆的数据结构&#xff0c;自然&#xff0c;逆向的过程就叫做反序列化。简单来说就是我在一个地方构造了一个类&#xff0c;但我要在另一个地方去使用它&#xff0c;那怎么传过去呢&#xff1f;于是就想到了序列化这种东西&a…

句柄泄露的分析思路

基础知识 问题 什么是句柄&#xff1f; 句柄(file descriptor)即文件描述符&#xff0c;简称fd。Linux 系统中&#xff0c;把一切设备都视作文件&#xff0c;当进程打开现有文件或创建新文件时&#xff0c;内核向进程返回一个文件描述符。 FD作为文件句柄的实例&#xff0c;…

Nacos安装配置

一、下载Nacos Server。 通过Release页面进行下载&#xff0c;这里我以windows版本为例。 二、修改Nacos Server配置文件。 下载完成后&#xff0c;解压安装包后得到如下文件夹 为了配置集群&#xff0c;将nacos-server复制相同的两份&#xff0c;分别为命名为nacos-clust…

Java中有了equals(),为什么还有“==“

背景&#xff1a;Java中“一切皆是对象”&#xff0c;为什么还有非对象的“”&#xff1f; 在Java语言假设我们只进行OOP&#xff0c;所以Java代码都是由一个接着一个的类组成的。那么&#xff0c;对象之间比较&#xff0c;用equals()就可以了。 可为什么“”在代码随处可见呢…

海尔智家业绩尚可,但其智能家居“全场景”没做起来

‍数据智能产业创新服务媒体——聚焦数智 改变商业近日&#xff0c;海尔智家发布了其2022年年报&#xff0c;数据显示&#xff0c;2022年海尔智家实现收入2435.14亿元&#xff0c;同比增长7.2%&#xff1b;扣非归母净利润139.63亿元&#xff0c;同比增长18%&#xff0c;利润增…

消息队列kafka及zookeeper机制

目录 一、zookeeper 1、zookeeper简介 2、zookeeper特点 3、zookeeper工作模式及机制 4、zookeeper应用场景及选举机制 5、zookeeper集群部署 ①实验环境 ②安装zookeeper 二、消息队列kafka 1、为什么要有消息队列 2、使用消息队列的好处 3、kafka简介 4、kafka…

多模态模型学习1——CLIP对比学习 语言-图像预训练模型

多模态模型学习1——CLIP对比学习 语言-图像预训练模型学习前言什么是CLIP模型代码下载CLIP实现思路一、网络结构介绍1、Image Encodera、PatchPosition Embeddingb、Transformer EncoderI、Self-attention结构解析II、Self-attention的矩阵运算III、MultiHead多头注意力机制IV…

maya arnold自定义aov分层灯光组添加方法

一、问题描述&#xff1a; maya的arnold aov层灯光组(Light groups)运用有两种方法&#xff0c;总结一下使用笔记。灯光效果如下图&#xff1a; 二、制作过程&#xff1a; 1、灯光的布局主要用了两盏区域光&#xff0c;主光和辅助光。如下图&#xff1a; 2、主光为白色&am…

windows10下VS2019编译jpegsrc.v9e.tar.gz为lib静态库(已验证)

一、下载jpegsrc 1、下载JPEG库的源代码 http://www.ijg.org/files/ 2、这里使用最新的jpegsr9e.zip &#xff0c;别下载错误了&#xff08;jpegsrc.v9e.tar.gz 是RAM架构的仅支持32位&#xff09; 3、解压jpegsr9e.zip到d盘&#xff0c;如&#xff1a;D:\jpeg-9e 二、vs2019…

【Blender 水墨材质】实现过程简单剖析

写在前面 想把Blender一位大佬演示的Blender水墨材质过程&#xff0c;在Unity用Shader重现&#xff0c;过程中会拿能拿到的节点代码举例&#xff08;ShaderGraph或者UE的都会有&#xff09;。第一步当然是要跟着人家做一遍&#xff01;我会尽可能地分析一下每一步的原理~ 教程…

【数据挖掘与商务智能决策】第十二章 XGBoost算法和LightGBM算法

12.1.3 XGBoost算法的简单代码实现 XGBoost模型既可以做分类分析&#xff0c;也可以做回归分析&#xff0c;分别对应的模型为XGBoost分类模型&#xff08;XGBClassifier&#xff09;及XGBoost回归模型&#xff08;XGBRegressor&#xff09;。 XGBoost模型的安装办法可以采用P…

Linux--进程信号

前言 无人问津也好&#xff0c;技不如人也罢&#xff0c;你都要试着安静下来&#xff0c;去做自己该做的事情&#xff0c;而不是让烦恼和焦虑毁掉你不就不多的热情和定力。心可以碎&#xff0c;手不能停&#xff0c;该干什么干什么&#xff0c;在崩溃中继续努力前行&#xff0c…

MyBatis整合Springboot多数据源实现

前言 数据源&#xff0c;实际就是数据库连接池&#xff0c;负责管理数据库连接&#xff0c;在Springboot中&#xff0c;数据源通常以一个bean的形式存在于IOC容器中&#xff0c;也就是我们可以通过依赖注入的方式拿到数据源&#xff0c;然后再从数据源中获取数据库连接。 那么…

easyrecovery2023电脑文件数据恢复软件功能介绍

EasyRecovery功能全面&#xff0c;即便是没有经验的小白用户也可以很快上手&#xff0c;让你足不出户即可搞定常见的数据丢失问题。 在使用和操作存储设备期间&#xff0c;数据丢失问题在所难免。比如&#xff0c;误删除某个文件、不小心将有数据的分区格式化、误清空了有重要…

【ZUUL2踩坑】题一:Ribbon集成动态properties存在的原生风险

目录 一、问题背景 二、问题分析 1、配置文件空档期的问题 一、问题背景 JAVA的Properties工具有两种写配置文件的方式&#xff0c;一种是覆盖&#xff0c;一种是追加。 但是动态配置文件一般需要进行创建或更新&#xff0c;不会选择追加内容&#xff0c;所以只能选择进行配…

你的 Kubernetes 安全吗?最新benchmark的重要趋势解读

导语 疫情过后经济处在缓慢复苏的阶段&#xff0c;对于企业应该优先考虑数字化转型&#xff0c;因为它可以促进增长和创新。 不可避免地&#xff0c;当今的数字化转型计划依赖于云的可扩展性和灵活性。 虽然在云中启动应用程序和服务带来了许多机遇&#xff0c;但也带来了新的…

函数栈帧的创建与销毁

魔王的介绍&#xff1a;&#x1f636;‍&#x1f32b;️一名双非本科大一小白。魔王的目标&#xff1a;&#x1f92f;努力赶上周围卷王的脚步。魔王的主页&#xff1a;&#x1f525;&#x1f525;&#x1f525;大魔王.&#x1f525;&#x1f525;&#x1f525; ❤️‍&#x1…

【数据结构与算法】基于回溯算法实现八皇后问题

八皇后问题是一个经典的计算机科学问题&#xff0c;它的目标是将8个皇后放置在一个大小为88的棋盘上&#xff0c;使得每个皇后都不会攻击到其他的皇后。皇后可以攻击同一行、同一列和同一对角线上的棋子。 一、八皇后问题介绍 八皇后问题最早由国际西洋棋大师马克斯贝瑟尔在18…