目录
- 什么是语义排名？
- 语义排名的工作原理
- 如何收集和总结输入
- 语义排名的输出
- 如何对摘要进行评分
- 语义功能和限制
在 Azure AI 搜索中，“语义排名”通过使用语言理解对搜索结果重新排名来显著提高搜索相关性， 本文概括性地介绍了语义排名工作原理。
关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。
什么是语义排名？
语义排名是一组与查询相关的功能，可提高基于文本的查询的初始 [BM25 排名]搜索结果的质量。 针对搜索服务启用它时，语义排名通过两种方式来扩展查询执行管道：
-
首先，它在使用 BM25 或 RRF 评分的初始结果集的基础上添加了二次排名。 此二次排名使用改写自 Microsoft 必应的多语言深度学习模型来提升在语义上最相关的结果的排名。
-
其次，它会提取并返回响应中的描述和答案，你可以在搜索页面上呈现它们以改进用户的搜索体验。
下面是语义排名的功能。
| 功能 | 说明 |
|---|---|
| 语义排名 | 使用查询的上下文或语义含义基于预排名的结果计算新的相关性分数。 |
| [语义标题和重点] | 从文档中提取最能总结内容的逐字句子和短语，并突出显示关键段落，以便于扫描。 当单个内容字段对“搜索结果”页来说过于密集时，用于总结结果的标题就非常有用了。 突出显示的文本会提升最相关的术语和短语，这样用户就能够快速确定匹配被视为相关的原因。 |
| [语义答案] | 从语义查询返回的可选附加子结构。 它直接回答了类似问题的查询。 它要求文档包含带有答案特征的文本。 |
语义排名的工作原理
“语义排名”查找词语之间的上下文和相关性，从而提升对查询更有意义的匹配项。
下图说明了这一概念。 请考虑“capital”一词。 它具有不同的含义，具体取决于上下文是财务、法律、地理还是语法。 通过语言理解，语义排名程序可以检测上下文并提升符合查询意向的结果。
语义排名既耗费资源又耗费时间。 为了在查询操作的预期延迟内完成处理，向语义排名程序提供的输入将被整合并减少，以便可以尽快完成重新排名步骤。
语义排名有两个步骤：总结和评分。 输出包括重新评分的结果、标题和答案。
如何收集和总结输入
在语义排名中，查询子系统将搜索结果作为摘要和排名模型的输入传递。 由于排名模型具有输入大小约束并且是处理密集型的，因此必须将搜索结果进行结构化（总结）并调整其大小以便高效处理。
-
语义排名从文本查询的 [BM25 排名结果]或混合查询的 [RRF 排名结果]开始。 重新排名练习中仅使用文本字段，并且只有前 50 个结果才会进入语义排名，即使结果包含 50 个以上的结果也是如此。 通常，语义排名中使用的字段是信息性和描述性的。
-
对于搜索结果中的每个文档，摘要模型最多接受 2000 个标记，其中一个标记大约为 10 个字符。 输入由[语义配置]中列出的“标题”、“关键字”和“内容”字段组合而成。
-
过长的字符串会被剪裁，以确保总长度满足摘要步骤的输入要求。 此剪裁练习演示了为什么必须按优先级顺序向语义配置添加字段。 如果你的文档非常大，其中的字段包含大量文本，则会忽略超过最大限制的任何内容。
语义字段 标记限制 “title” 128 个标记 "关键字 128 个标记 “内容” 剩余标记 -
摘要输出是每个文档的摘要字符串，由每个字段中最相关的信息组成。 摘要字符串将发送到排名程序进行评分，并发送到计算机阅读理解模型以获取标题和答案。
传递给语义排名程序的每个生成的摘要字符串的最大长度为 256 个标记。
语义排名的输出
从每个摘要字符串中，计算机阅读理解模型查找最有代表性的段落。
输出为：
-
文档的[语义标题]。 每个标题都有普通文本版本和突出显示版本，在每个文档中通常少于 200 字。
-
一个可选的[语义答案]，假设你指定了
answers参数，查询以问题的形式提出，并且在长字符串中找到了一个段落，该段落提供了此问题的可能答案。
标题和答案始终是索引中的逐字文本。 此工作流中没有可创建或撰写新内容的生成式 AI 模型。
如何对摘要进行评分
评分是针对标题以及用于填充长度为 256 个标记的摘要字符串中的任何其他内容执行的。
-
根据所提供的查询，对标题的概念和语义相关性进行评估。
-
@search.rerankerScore 根据给定查询的文档的语义相关性分配给每个文档。 分数范围从 4 到 0（从高到低），分数越高表示相关性越高。
-
匹配项按分数降序列出，并且包含在查询响应有效负载中。 有效负载包括答案、普通文本标题和突出显示的标题，以及标记为可检索的任何字段或在 select 子句中指定的任何字段。
语义功能和限制
语义排名是一项较新的技术，因此，对它能够做什么和不能做什么设定期望非常重要。 它能够做什么：
-
提升在语义上更接近原始查询意向的匹配项。
-
查找要用作标题和答案的字符串。 标题和答案在响应中返回，并且可以在搜索结果页上呈现。
语义排名不能做的是，在整个语料库上重新运行查询来查找语义上相关的结果。 语义排名会对现有结果集重新排名，该结果集由按默认排名算法评分的前 50 个结果组成。 另外，语义排名无法创建新的信息或字符串。 标题和答案是从内容逐字提取的，因此，如果结果不包含与答案类似的文本，则语言模型不会生成它。
虽然语义排名并非在每种情况下都有益处，但某些内容可以显著受益于其功能。 语义排名中的语言模型最适用于信息丰富并且为散文结构的可搜索内容。 知识库、联机文档或包含描述性内容的文档可从语义排名功能获得最大收益。
基础技术来自必应和 Microsoft Research，并已作为附加产品功能集成到 Azure AI 搜索基础结构中。 有关用于支持语义排名的研究和 AI 投入的详细信息，请参阅必应的 AI 功能如何为 Azure AI 搜索提供支持（Microsoft Research 博客）。
关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队管理经验，同济本复旦硕，复旦机器人智能实验室成员，阿里云认证的资深架构师，项目管理专业人士，上亿营收AI产品研发负责人。
