Elasticsearch：介绍 retrievers

Elasticsearch：介绍 retrievers - 搜索一切事物

news2024/9/28 9:28:38

作者：来自 Elastic Jeff Vestal, Jack Conradson

在 8.14 中，Elastic 在 Elasticsearch 中引入了一项名为 “retrievers - 检索器” 的新搜索功能。继续阅读以了解它们的简单性和效率，以及它们如何增强你的搜索操作。

检索器是 Elasticsearch 中搜索 API 中添加的新抽象层。它们提供了在单个 _search API 调用中配置多阶段检索管道的便利。此架构通过消除对复杂搜索查询的多个 Elasticsearch API 调用的需求，简化了应用程序中的搜索逻辑。它还减少了对客户端逻辑的需求，而客户端逻辑通常需要组合来自多个查询的结果。

检索器的初始类型

初始版本中包含三种类型的检索器。每种检索器都针对特定目的而设计，组合起来后，它们可实现复杂的搜索操作。

可用的类型包括：

standard- 返回传统查询中的顶级文档。这些类型通过支持现有的查询 DSL 请求语法实现向后兼容，让你可以按照自己的节奏迁移到检索器框架。
kNN - 返回 kNN 搜索中的顶级文档。
RRF - 使用倒数融合算法将多个第一阶段检索器组合并排名为单个结果集，无需或只需极少的用户调整。RRF 检索器是一种复合检索器，其过滤元素会传播到其子检索器。

检索器有何不同？它们为何有用？

对于传统查询，查询是整体搜索 API 调用的一部分。检索器的不同之处在于，它们被设计为独立实体，可以单独使用或轻松组合使用。这种模块化方法在设计搜索策略时提供了更大的灵活性。

检索器被设计为 “retriever tree - 检索器树” 的一部分，这是一种层次结构，通过阐明搜索操作的顺序和逻辑来定义搜索操作。这种结构使复杂的搜索更易于管理，更易于开发人员理解，并允许在将来轻松添加新功能。

检索器支持可组合性，允许你构建管道并集成不同的检索策略。这允许轻松测试不同的检索组合。它们还提供对文档评分和筛选方式的更多控制。例如，你可以指定最低分数阈值，应用复杂的过滤器而不影响评分，并使用诸如 terminate_after 之类的参数进行性能优化。

与传统查询元素保持向后兼容性，自动将它们转换为适当的检索器。

检索器使用示例

让我们看一些使用检索器的示例。我们使用 IMDB 示例数据集。

你可以运行随附的 jupyter 笔记本，将 IMDB 数据导入无服务器搜索项目，并自行运行以下示例！

高层次设置是：

overview - 电影的简短摘要
names - 电影的名称
overview_dense - 从 e5-small 模型生成的 dense_vector
overview_sparse - 使用 Elastic 的 ELSER 模型的稀疏向量。
仅使用 fields 并设置 _source:false 返回 names 和 overview 的文本版本

Standard - 搜索所有文本！

GET /imdb_movies/_search?pretty
{
  "retriever": {
    "standard": {
      "query": {
        "term": {
          "overview": "clueless"
        }
      }
    }
  },
  "size": 3,
  "fields": [
    "names",
    "overview"
  ],
  "_source": false
}

kNN - 搜索所有密集向量！

GET /imdb_movies/_search?pretty
{
  "retriever": {
    "knn": {
      "field": "overview_dense",
      "query_vector_builder": {
        "text_embedding": {
          "model_id": ".multilingual-e5-small_linux-x86_64",
          "model_text": "clueless slackers"
        }
      },
      "k": 5,
      "num_candidates": 5
    }
  },
  "size": 3,
  "fields": [
    "names",
    "overview"
  ],
  "_source": false
}

text_expansion - 搜索所有稀疏向量！

GET /imdb_movies/_search?pretty
{
  "retriever": {
    "standard": {
      "query": {
        "text_expansion": {
          "overview_sparse": {
            "model_id": ".elser_model_2_linux-x86_64",
            "model_text": "clueless slackers"
          }
        }
      }
    }
  },
  "size": 3,
  "fields": [
    "names",
    "overview"
  ],
  "_source": false
}

rrf - 将所有事物结合起来！

GET /imdb_movies/_search?pretty
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "term": {
                "overview": "clueless slackers"
              }
            }
          }
        },
        {
          "knn": {
            "field": "overview_dense",
            "query_vector_builder": {
              "text_embedding": {
                "model_id": ".multilingual-e5-small_linux-x86_64",
                "model_text": "clueless slackers"
              }
            },
            "k": 5,
            "num_candidates": 5
          }
        },
        {
          "standard": {
            "query": {
              "text_expansion": {
                "overview_sparse": {
                  "model_id": ".elser_model_2_linux-x86_64",
                  "model_text": "clueless slackers"
                }
              }
            }
          }
        }
      ],
      "rank_window_size": 5,
      "rank_constant": 1
    }
  },
  "size": 3,
  "fields": [
    "names",
    "overview"
  ],
  "_source": false
}