ES分页查询的最佳实践：三种方案

news2024/10/1 23:31:47

Elasticsearch（ES）中进行分页查询时，最佳实践取决于具体的使用场景和需求。
以下是对每种分页方法的简要分析以及它们适用的情况：
在这里插入图片描述

1. From + Size

最常见且直观的方法，通过from参数指定跳过多少条记录，size参数指定每次返回多少条记录。
优点：实现简单，适用于小规模或浅层分页，即前几页查询。
缺点：随着from值增大，查询效率会显著降低，尤其是在深度分页的情况下（例如，查询很多页之后的数据），因为ES需要遍历所有之前的结果才能找到指定偏移的结果集，这对分布式系统来说成本非常高。

2. Scroll API

提供了一种持续检索大量数据的方式，创建一个“滚动”上下文，可以在一段时间内保持一致性视图。
优点：非常适合大数据量的批量读取或深度分页，尤其是在不需要考虑数据实时更新的情况下，如数据导出或批处理任务。
缺点：滚动上下文会占用服务器资源，且对实时性要求高的场景不合适，因为它反映的是某个时间点的快照状态，不能反映出滚动上下文创建后数据的变化。

3. Search After

从ES 5.0版本开始提供，用于克服from+size在深度分页时的性能瓶颈。
优点：利用 _score 或用户定义的排序字段来进行连续查询，避免了大规模跳跃式分页的问题。相比from+size，它在深度分页时性能更优，同时能够更好地处理实时变化的数据。
缺点：需要有稳定的排序字段，并且不是所有场景下都能方便地转换为search_after模式。

代码示例

package org.example;

import org.apache.http.HttpHost;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.search.SearchScrollRequest;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.index.query.MatchAllQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;

import java.io.IOException;
import java.util.concurrent.TimeUnit;

public class ESScrollMain {
    private static final String indexName = "kibana_sample_data_logs";

    public static void main(String[] args) throws IOException {
        System.out.println("Hello and welcome!");
        RestClientBuilder builder = RestClient.builder(new HttpHost("10.x.x.x", 9200, "http"));
        RestHighLevelClient client = new RestHighLevelClient(builder);

        SearchRequest searchRequest = new SearchRequest(indexName);
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        // hit 返回值(bool 查询返回条数)
//        searchSourceBuilder.size(0);
//        searchSourceBuilder.from(0);
        searchSourceBuilder.trackTotalHits(true);
        // 超时时间60s
        MatchAllQueryBuilder search = QueryBuilders.matchAllQuery();
        searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
        searchSourceBuilder.size(2000);
        searchSourceBuilder.query(search);

        long scrollTime = 30L;
        searchRequest.source(searchSourceBuilder);
        searchRequest.scroll(TimeValue.timeValueSeconds(scrollTime));

        SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);

        String scrollId = searchResponse.getScrollId();
        SearchHit[] hits = searchResponse.getHits().getHits();

        int count = 0;
        int batch = 1;
        System.out.println("初始结果条数:" + count);
        count += hits.length;
        System.out.println("滚动第" + batch + "批结果总条数:" + count);
        while (hits != null && hits.length > 0) {
            batch++;
            SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);
            scrollRequest.scroll(TimeValue.timeValueSeconds(scrollTime));
            searchResponse = client.scroll(scrollRequest, RequestOptions.DEFAULT);
            scrollId = searchResponse.getScrollId();
            hits = searchResponse.getHits().getHits();
            count += hits.length;
            System.out.println("滚动第" + batch + "批结果总条数:" + count);

        }

        System.out.println("结束,总计："+searchResponse.getHits().getTotalHits());

    }
}