Elastic Search 8.9：与 RRF 的混合搜索、更快的矢量搜索和面向公众的搜索端点

news2024/11/15 18:34:03

作者：Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索，以结合矢量、关键字和语义技术以获得更好的结果。此版本还提高了矢量搜索和摄取的性能，响应时间加快了 30% 以上。用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项，其中包括文档级安全性。此外，8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户：

通过轻松添加多种检索技术来改善搜索结果
通过文档级安全性快速获取 SharePoint Online 数据
创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出，这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes，以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能？查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，矢量搜索用于密集向量。混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。在 8.9 中，使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索：

Elastic® 矢量数据库搜索
基于关键字的 BM25f 搜索
使用 Elastic Learned Sparse Encoder 模型进行文本扩展搜索

它开箱即用，无需规范化或配置权重，因此你可以快速、无缝地将矢量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。在文档中了解有关 RRF 的更多信息。

加速矢量硬件指令

在 8.9 中，我们利用了一个正在孵化的 Java API（Panama vector API），它允许使用本机指令 (SIMD) 来显着提高矢量计算的性能。这使得 HNSW (kNN) 和暴力（brute force）搜索的矢量搜索和矢量索引性能提高了 30% (!)。请注意，这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟，我们将向量中浮点元素的编码从大端改为小端。这一变化带来了更快的解码速度，从而使暴力向量搜索的查询延迟显着降低了百分之几十。这些改进在最重要的较慢搜索中尤其显着，其中改进可以达到大约 50% 的时间。此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器，该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取。

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。这些连接器客户端使客户能够集成更多的专有数据源，同时从该版本开始，以下连接器在 Elastic Cloud 上原生提供：Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器和连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版，因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application/<app-name>/_search 端点仅允许关联搜索模板中定义的查询，因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后，当与使用新 API 密钥 “search_application_query” 工作流角色限制的仅限公共搜索端点的 API 密钥配对时，搜索应用程序可用于创建可公开访问的搜索，该限制提供对搜索应用程序端点的只读访问。使用新的搜索应用程序 Javascript 客户端，开发变得更加容易！