Java 实现 Elasticsearch 查询当前索引全部数据

news2025/1/9 6:05:10

Java 实现 Elasticsearch 查询当前索引全部数据

  • 需求背景
  • 通常情况
  • Java 实现查询 Elasticsearch 全部数据
  • 写在最后

需求背景

通常情况下，Elasticsearch 为了提高查询效率，对于不指定分页查询条数的查询语句，默认会返回10条数据。那么这就会有一种情况，当你需要一次性返回 Elasticsearch 索引中的全部数据时，就无法实现了。这个时候你可能会考虑，比如我将每页取值的size 设置的很大，这样或许可以解决问题，但是数据量的上升你是无法控制的，最终会有一天数据量会超过你此时设置的最大 size，那么这就是一个雷点。并且如果一次查询很大量数据的话，即便是 Elasticsearch 查询效率高的索引结构可能也会导致查询时长较长，甚至响应超时。那么是否有一种查询效率高，且相对灵活的方式可以查询 Elasticsearch 的索引中全部数据呢？答案是：有的。

通常情况

下面来看一下在不设置 size 大小的情况下，执行 Elasticsearch 查询语句默认返回几条数据，结果是默认返回 10条。执行如下查询命令

GET crm_meiqia_conversation/_search

返回结果如图，这时我们看到返回了 10 条数据
在这里插入图片描述

此时如果你需要查询更多数据的话，你就可以通过指定 size 大小来查询更多数据，比如执行如下命令

GET crm_meiqia_conversation/_search
{
  "size":20
}

执行查询语句后返回的结果如图所示，索引查询会返回你指定 size 大小的数据
在这里插入图片描述

很明显，在一些特殊的场景下，想要一次性查询指定条件下的所有数据改如何操作呢，下面就来基于 Java 实现查询指定条件下的所有数据操作。

Java 实现查询 Elasticsearch 全部数据

在具体讲解如何通过 Java 实现查询 Elasticsearch 全部数据之前，我们可以先来看一下我已经实现之后的查询效果。这里你可以看到滚动州已经变得很小，这就是因为我查询出了指定条件下的全部数据导致的，而不是默认的 10 条数据
在这里插入图片描述

而如果没有实现查询指定索引指定条件下的全部数据时，看到的效果应该是这样的，默认只能一次性查询 10 条数据返回
在这里插入图片描述

下面再来讲一下如何通过 Java 实现 查询 es 全部数据，我们由浅入深来讲解，首先来看一下默认查询 es 10条数据的代码，Java 通过如下 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query); 构造查询 es 索引代码，这种情况没有设置 size 大小，默认的话就是查询指定索引下 10条数据，完整代码如下：

public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //会话id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //会话日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //会话日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //学号
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工号
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 会话内容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索请求构建器，用于构造搜索请求
        SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
                // 设置搜索的类型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 设置查询条件
                .setQuery(query);


        // 使用SearchRequest获取搜索响应
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存储所有搜索结果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索响应中的数据，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);


        //记录返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //获取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaConversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一个uid 对应同一个 name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    }

那么如何实现 一次查询满足条件的全部 es 数据呢，这就需要通过 scroll 实现，在初始化索引查询构造器时通过 SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex()).setTypes(indexProperties.getMeiqiaConversationType()).setQuery(query).setSize(100).setScroll(TimeValue.timeValueMinutes(1)); 设置 scroll 参数来实现，同时需要再后续增加再次查询索引逻辑，将 scorllId 循环传递 获取全部数据，最终改造后的获取全部数据的代码如下

    public AjaxResult getMeiqiaUidList(MeiqiaConversation meiqiaConversation) {
        BoolQueryBuilder query = QueryBuilders.boolQuery();
        BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
        //会话id
        Long convId = meiqiaConversation.getConvId();
        if (convId != null) {
            boolQuery.filter(QueryBuilders.termQuery("convId",convId));
        }
        //会话日期
        String convStartDate = (String) meiqiaConversation.getParams().get("convStartDate");
        String convEndDate = (String) meiqiaConversation.getParams().get("convEndDate");
        if (StringUtils.isNotEmpty(convStartDate)) {
            Date date = DateUtils.stringToDate(convStartDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(date.getTime()));
        }
        if (StringUtil.isNotEmptyString(convEndDate)) {
            Date date = DateUtils.stringToDate(convEndDate, DateUtils.SDF_YMDHMS);
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(date.getTime()));
        }
        //会话日期
        Date convStartDate2 = meiqiaConversation.getConvStartDate();
        Date convEndDate2 = meiqiaConversation.getConvEndDate();
        if (Objects.nonNull(convStartDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convStartDate").gte(convStartDate2.getTime()));
        }
        if (Objects.nonNull(convEndDate2)) {
            boolQuery.filter(QueryBuilders.rangeQuery("convEndDate").lte(convEndDate2.getTime()));
        }
        //学号
        String uid = (String) meiqiaConversation.getParams().get("uid");
        if (StringUtils.isNotEmpty(uid)) {
            if (uid.contains("#")) {
                String replace = uid.replace("#", "");
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.name",replace));
            }else {
                boolQuery.filter(QueryBuilders.termQuery("clientInfo.uid",uid));
            }
        }
        //客服工号
        String agentId = (String) meiqiaConversation.getParams().get("agentId");
        if (StringUtils.isNotEmpty(agentId)) {
            boolQuery.filter(QueryBuilders.termQuery("agentId",agentId));
        }
        // 会话内容
        String content = (String) meiqiaConversation.getParams().get("content");
        if (StringUtils.isNotEmpty(content)) {
            boolQuery.filter(QueryBuilders.matchPhrasePrefixQuery("convContent.content",content));
        }

        query.must(boolQuery);

        // 初始化搜索请求构建器，用于构造搜索请求
        SearchRequestBuilder searchRequest = client.prepareSearch(indexProperties.getMeiqiaConversationIndex())
                // 设置搜索的类型
                .setTypes(indexProperties.getMeiqiaConversationType())
                // 设置查询条件
                .setQuery(query)
                // 设置返回结果的数量为100
                .setSize(100)
                // 设置滚动查询的时间间隔为1分钟
                .setScroll(TimeValue.timeValueMinutes(1));

        // 使用SearchRequest获取搜索响应
        SearchResponse searchResponse = searchRequest.get();
        // 初始化存储所有搜索结果的列表
        List<EsMeiqiaConversation> rows = new ArrayList<>();
        // 格式化搜索响应中的数据，并添加到rows列表中
        List<EsMeiqiaConversation> list1 = formatMeiqiaDto(searchResponse);
        rows.addAll(list1);
        // 使用Scroll方式遍历所有搜索结果
        do {
            // 准备下一次Scroll搜索，设置滚动时间为1分钟
            // 将scorllId循环传递 获取全部数据
            searchResponse = client.prepareSearchScroll(searchResponse.getScrollId()).setScroll(TimeValue.timeValueMinutes(1)).execute().actionGet();
            // 格式化新一批搜索结果，并添加到rows列表中
            List<EsMeiqiaConversation> list = formatMeiqiaDto(searchResponse);
            if (CollectionUtils.isNotEmpty(list)) {
                rows.addAll(list);
            }
            // 当搜索结果为空时，结束循环
            // 当searchHits的数组为空的时候结束循环，至此数据全部读取完毕
        } while (searchResponse.getHits().getHits().length != 0);

        // 创建一个ClearScrollRequest实例，用于清除滚动查询的会话。
        ClearScrollRequest clearScrollRequest = new ClearScrollRequest();

        // 将上一次查询返回的滚动ID添加到请求中，以便清除这个特定的会话。
        // 这是必要的，因为ClearScrollRequest需要至少一个滚动ID才能执行清除操作。
        clearScrollRequest.addScrollId(searchResponse.getScrollId());

        // 发送ClearScroll请求并获取操作的结果。
        // 这一步是必需的，因为它实际执行了清除滚动会话的操作，并允许我们处理结果或任何异常。
        client.clearScroll(clearScrollRequest).actionGet();

        //记录返回的uid name
        List<MeiqiaConversation> list = new ArrayList<>();
        if (CollectionUtils.isNotEmpty(rows)) {
            //获取 uid name
            Map<String, List<EsMeiqiaConversation>> collect = rows.stream().collect(Collectors.groupingBy(EsMeiqiaConversation::getClientUid, Collectors.toList()));
            Set<String> uids = collect.keySet();
            for (String u : uids) {
                MeiqiaConversation conv = new MeiqiaConversation();
                conv.setUid(u);
                //同一个uid 对应同一个 name
                List<EsMeiqiaConversation> esconv = collect.get(u);
                String name = esconv.get(0).getClientName();
                conv.setName(name);
                list.add(conv);
            }
        }
        return AjaxResult.success(list);
    }

那么这段的核心代码是增加了滚动查询数据的操作，如图所示
在这里插入图片描述

同时再执行循环查询时将 scrollId 循环传递，并将查询结果 addAll 到当前list 的集合中
在这里插入图片描述

查询结束之后，最后是清除滚动会话的操作
在这里插入图片描述

到这里关于 Java 实现 es 查询指定条件下的全部数据操作就结束了，整个操作过程比较容易理解，增加了 es 滚动查询 scroll 操作来实现查询 es 全部数据。

写在最后

最后想要说的是，对于 es 查询，通常情况下是不需要一次性查询出当前索引所有条件下的数据的，毕竟数据量比较大，但是也有特殊的场景，这个时候不得不一次性查询出所有的数据，这就需要上文中用到的办法了，希望对大家有帮助。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2273608.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

算能AI计算服务器SE5设备树的二次修改实操

算能AI计算服务器SE5设备树的二次修改实操

目录 1.大纲 2.实操 2.下载对应文件包 3.解包启动文件 4.修改对应的设备树 5.重启后 教程链接&#xff1a;https://github.com/sophgo/sophon-tools/tree/main/source/pmemory_edit 1.大纲 2.实操 2.1 选择串口&#xff0c;波特率115200&#xff0c;重启设备&#xff0…
阅读更多...
Python的Matplotlib库应用（超详细教程）

Python的Matplotlib库应用（超详细教程）

目录 一、环境搭建 1.1 配置matplotlib库 1.2 配置seaborn库 1.3 配置Skimage库 二、二维图像 2.1 曲线&#xff08;直线&#xff09;可视化 2.2 曲线&#xff08;虚线&#xff09;可视化 2.3 直方图 2.4 阶梯图 三、三维图像 3.1 3D曲面图 3.2 3D散点图 3.3 3D散…
阅读更多...
Flutter：封装一个自用的bottom_picker选择器

Flutter：封装一个自用的bottom_picker选择器

效果图&#xff1a;单列选择器 使用bottom_picker: ^2.9.0实现&#xff0c;单列选择器&#xff0c;官方文档 pubspec.yaml # 底部选择 bottom_picker: ^2.9.0picker_utils.dart AppTheme&#xff1a;自定义的颜色 TextWidget.body Text() <Widget>[].toRow Row()下边代…
阅读更多...
牛客网刷题 ——C语言初阶（6指针）——BC106 上三角矩阵判定

牛客网刷题 ——C语言初阶（6指针）——BC106 上三角矩阵判定

1. 题目描述——BC106 上三角矩阵判定 牛客网OJ题链接 描述 KiKi想知道一个n阶方矩是否为上三角矩阵&#xff0c;请帮他编程判定。上三角矩阵即主对角线以下的元素都为0的矩阵&#xff0c;主对角线为从矩阵的左上角至右下角的连线。 示例 输入&#xff1a; 3 1 2 3 0 4 5 0 0…
阅读更多...
力扣刷题：数组OJ篇（下）

力扣刷题：数组OJ篇（下）

大家好&#xff0c;这里是小编的博客频道 小编的博客&#xff1a;就爱学编程 很高兴在CSDN这个大家庭与大家相识&#xff0c;希望能在这里与大家共同进步&#xff0c;共同收获更好的自己&#xff01;&#xff01;&#xff01; 目录 1.轮转数组&#xff08;1&#xff09;题目描述…
阅读更多...
《(限)战斗天赋VR》V02122024官方中文学习版

《(限)战斗天赋VR》V02122024官方中文学习版

《(限)战斗天赋VR》官方中文版https://pan.xunlei.com/s/VODaeHDXSxw4BNDNl39dxJXnA1?pwdusm5# 一款具有挑战性的基于物理的roguelite剑术格斗游戏&#xff0c;你可以在一个超级无缝的程序地牢中创造自己的战斗风格&#xff0c;体验无与伦比的游戏体验。有80多种敌人变种、10…
阅读更多...
《Spring Framework实战》3：概览

《Spring Framework实战》3：概览

欢迎观看《Spring Framework实战》视频教程 Spring Framework 为基于现代 Java 的企业应用程序提供了全面的编程和配置模型 - 在任何类型的部署平台上。 Spring 的一个关键要素是应用程序级别的基础设施支持&#xff1a;Spring 专注于企业应用程序的 “管道”&#xff0c;以便…
阅读更多...
基于SpringBoot+Vue动漫交流系统平台设计和实现

基于SpringBoot+Vue动漫交流系统平台设计和实现

系统介绍&#xff1a; 免费的源码&#xff0c;我刚找到的&#xff0c;给大家推荐一下源码下载 动漫交流系统平台是一个专为动漫爱好者设计的在线社区平台&#xff0c;旨在为用户提供一个便捷的环境来分享动漫。这个系统包含了多种功能&#xff0c;如动漫分类、动漫视频、动漫…
阅读更多...
微信小程序获取图片使用session（上篇）

微信小程序获取图片使用session（上篇）

概述&#xff1a; 我们开发微信小程序&#xff0c;从后台获取图片现实的时候&#xff0c;通常采用http get的方式&#xff0c;例如以下代码 <image class"user_logo" src"{{logoUrl}}"></image>变量logoUrl为ur图片l的请求地址 但是对于很多…
阅读更多...
HTML5实现好看的中秋节网页源码

HTML5实现好看的中秋节网页源码

HTML5实现好看的中秋节网页源码 前言一、设计来源1.1 网站首页界面1.2 登录注册界面1.3 节日由来界面1.4 节日习俗界面1.5 节日文化界面1.6 节日美食界面1.7 节日故事界面1.8 节日民谣界面1.9 联系我们界面 二、效果和源码2.1 动态效果2.2 源代码 源码下载结束语 HTML5实现好看…
阅读更多...
Redis 数据库源码分析

Redis 数据库源码分析

Redis 数据库源码分析 我们都知道Redis是一个 <key,value> 的键值数据库&#xff0c;其实也就是一个 Map。如果让我来实现这样一个 Map&#xff0c;我肯定是用数组&#xff0c;当一个 key 来的时候&#xff0c;首先进行 hash 运算&#xff0c;接着对数据的 length 取余&…
阅读更多...
【海南省】乡镇界arcgis格式shp数据乡镇名称和编码gis矢量数据

【海南省】乡镇界arcgis格式shp数据乡镇名称和编码gis矢量数据

《海南省乡镇界GIS矢量数据详解》 GIS&#xff08;Geographic Information System&#xff09;是一种强大的地理信息系统&#xff0c;它结合了地图、数据库和计算机技术&#xff0c;用于管理和分析空间数据。在本篇中&#xff0c;我们将聚焦于一个特定的GIS数据集——“最新海…
阅读更多...
JVM 核心知识点总结

JVM 核心知识点总结

&#x1f9d1; 博主简介&#xff1a;CSDN博客专家&#xff0c;历代文学网&#xff08;PC端可以访问&#xff1a;https://literature.sinhy.com/#/literature?__c1000&#xff0c;移动端可微信小程序搜索“历代文学”&#xff09;总架构师&#xff0c;15年工作经验&#xff0c;…
阅读更多...
嵌入式系统 （5.嵌入式Linux网络应用开发）

嵌入式系统 （5.嵌入式Linux网络应用开发）

5.嵌入式 Linux 网络应用开发 5.1相关概念 客户端程序与服务端程序 在网络编程中，客户端程序与服务端程序是网络通信的两个基本角色。客户端发起请求，服务端响应请求并提供服务。 IP 地址与端口号 IP 地址用于标识网络设备的位置，而端口号标识运行在计算机上的具体进程…
阅读更多...
语义SEO全解析：如何在搜索引擎中脱颖而出？

语义SEO全解析：如何在搜索引擎中脱颖而出？

在过去十年中&#xff0c;搜索格局发生了巨大变化&#xff0c;语义 Web 技术成为一项关键功能。用户现在希望搜索引擎比以往任何时候都更好地掌握自然语言。是的&#xff0c;Google 在语言处理方面取得了一些非凡的成就。 当搜索引擎不那么先进时&#xff0c;很少需要一键就能…
阅读更多...
回归预测 | MATLAB实GRU多输入单输出回归预测

回归预测 | MATLAB实GRU多输入单输出回归预测

回归预测 | MATLAB实GRU多输入单输出回归预测 目录 回归预测 | MATLAB实GRU多输入单输出回归预测预测效果基本介绍程序设计参考资料 预测效果 基本介绍 回归预测 | MATLAB实GRU多输入单输出回归预测。使用GRU作为RNN的一种变体来处理时间序列数据。GRU相比传统的RNN有较好的记…
阅读更多...
Maven在不同操作系统上如何安装？

Maven在不同操作系统上如何安装？

大家好&#xff0c;我是袁庭新。Maven是一个重要的工具&#xff0c;还有很多初学者竟然不知道如何安装Maven&#xff1f;这篇文章将系统介绍如何在Windows、macOS、Linux操作系统上安装Maven。 Maven是一个基于Java的项目管理工具。因此&#xff0c;最基本的要求是在计算机上安…
阅读更多...
【C语言】_冒泡排序及其优化思路

【C语言】_冒泡排序及其优化思路

目录 1. 第一版代码&#xff1a;无忧化版 2. 第二版代码&#xff1a;添加逐趟判断有序的优化版 核心思想&#xff1a;两两相邻的元素进行比较 1. 第一版代码&#xff1a;无忧化版 #include<stdio.h> void bubble_sort(int* arr, int sz) {// 确定趟数: // (对于目标升…
阅读更多...
通过gradle发布aar或jar携带sources-jar到maven nexus

通过gradle发布aar或jar携带sources-jar到maven nexus

找了很久&#xff0c;没有找到满意的。终于找到一个好的办法。 gradle7.x适用。比以前的写法简洁。 发布传统的jar工程 比如okhttp&#xff0c;fastjson等项目&#xff0c;纯java工程。 直接创建新文件publish.gradle: apply plugin: maven-publishProperties properties …
阅读更多...
Java SpringBoot使用Apache POI导入导出Excel文件

Java SpringBoot使用Apache POI导入导出Excel文件

点击下载《Java SpringBoot使用Apache POI导入导出Excel文件(源代码)》 1. Apache POI 简介 Apache POI 是一个强大的 Java 库&#xff0c;用于处理 Microsoft Office 文档&#xff0c;包括 Excel 文件&#xff08;.xls 和 .xlsx&#xff09;。在 Java Spring Boot 项目中&am…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023