Elasticsearch：使用 Elasticsearch 进行语义搜索

news2024/11/23 4:09:50

在数字时代，搜索引擎在通过浏览互联网上的大量可用信息来检索数据方面发挥着重要作用。 此方法涉及用户在搜索栏中输入特定术语或短语，期望搜索引擎返回与这些确切关键字匹配的结果。

虽然关键字搜索对于简化信息检索非常有价值，但它也有其局限性。 主要缺点之一在于它对词汇匹配的依赖。 关键字搜索将查询中的每个单词视为独立的实体，通常会导致结果可能与用户的意图不完全一致。 此外，不明确的查询可能会产生不同的解释，从而导致混合或不准确的结果。

当处理上下文严重影响含义的语言时，会出现另一个关键限制。 词语的含义在很大程度上取决于具体情况。 单独使用关键字可能无法正确捕获这些查询，这可能会导致误解。

随着我们的数字环境不断发展，我们对更精致、更直观的搜索体验的期望也在不断变化。 这为语义搜索的出现铺平了道路，语义搜索是一种旨在超越传统基于关键字的方法的局限性的方法。 通过关注搜索查询的意图和上下文含义，语义搜索为关键字搜索带来的挑战提供了一种有前景的解决方案。

如上面的图片所示，如果我们通过 keyword 来进行搜索，我们想搜索的是 apple 水果，但是我们最终可能得到是关于 apple（苹果）公司的有关信息。其实它并不是我们想要的。

什么是语义搜索？

语义搜索是在互联网上搜索内容的高级方式。 它不仅仅是匹配单词，而是理解你真正在寻找的内容。 它能找出你的话背后的含义以及它们之间的关系。

这项技术使用人工智能和理解人类语言等技术。 几乎就像它在说人类一样！ 它着眼于大局，检查具有相似含义的单词以及与你所问问题相关的其他想法。

基本上，语义搜索可以帮助你从互联网上的大量内容中准确获取所需的内容。 这就像与一个超级聪明的搜索引擎交谈，它不仅可以获取你所说的单词，还可以获取你真正想要查找的内容。 这使得它非常适合做研究、查找信息，甚至获得符合你兴趣的建议。

语义搜索的好处

  1. 精确度和相关性：语义搜索通过理解用户意图和上下文提供高度相关的结果。
  2. 自然语言理解：它理解复杂的查询，使自然语言交互更加有效。
  3. 消除歧义：它解决歧义查询，根据用户行为和上下文提供准确的结果。
  4. 个性化：语义搜索从用户行为中学习以获取定制结果，从而随着时间的推移提高相关性。

Elastic Search 中的语义搜索

Elastic Search 提供语义搜索，重点关注搜索查询的含义和上下文，而不仅仅是匹配关键字。 它使用自然语言处理（NLP）和向量搜索来实现这一目标。 Elastic 有自己的预训练表示模型，称为 Elastic Learned Sparse EncodeR (ELSER)。

在进入 ELSER 之前，让我们更多地了解 NLP 和向量搜索。

自然语言处理（NLP）

自然语言处理是人工智能的一个分支，致力于使计算机能够以有价值且有用的方式理解、解释和生成人类语言。

NLP 涉及一组允许计算机处理和分析大量自然语言数据的技术和算法。 这包括以下任务：

  • 文本理解：NLP 帮助计算机理解一篇文章的内容。 它可以找出文本中的重要内容，例如姓名、关系和感受。
  • 文本处理：这涉及将句子分解为单词或短语、将单词简化为其基本形式以及识别句子的不同部分等任务。
  • 命名实体识别 (NER)：NLP 可以识别文本中的特殊事物，例如人名、地名或组织名称。 这有助于理解正在讨论的内容。

向量搜索

向量搜索是一种涉及将数据点或信息表示为多维空间中的向量的技术。 空间的每个维度代表文档或数据点的不同特征或属性。

在这个向量空间中，相似的文档或数据点彼此距离更近。 这允许有效的基于相似性的搜索。 例如，如果你正在搜索与给定文档相似的文档，则可以计算表示文档的向量之间的相似度以查找最接近的匹配项。

向量搜索广泛用于各种应用，包括：

  1. 推荐系统：它有助于根据用户的喜好向他们推荐类似的项目。
  2. 信息检索：它允许在大型语料库中查找相似的文档。
  3. 异常检测：它有助于识别异常或异常数据点。

NLP 与向量搜索的工作原理

1）Vector embedding：
        在此步骤中，NLP 涉及将文本数据转换为数值向量。 使用词嵌入等技术将文本中的每个单词转换为高维向量

2.相似度分数：

        引擎将向量化查询与向量化文档进行比较以确定它们的相似性。

3）人工神经网络算法：

        近似最近邻 (ANN) 算法可有效查找高维空间中的近似最近邻。

4）查询处理：

        用户的查询经历与文档类似的处理以生成向量表示。

5）距离计算：

        引擎计算向量化查询和文档之间的距离（相似度分数）。

6）最近邻搜索：

        引擎查找嵌入最接近查询嵌入的文档。

7）排名结果：

        结果根据相似度分数进行排名。

ELSER

ELSER 是一个经过专门设计的预训练模型，可以出色地理解上下文和意图，而无需进行复杂的微调。 ELSER 目前仅适用于英语，其开箱即用的适应性使其成为各种自然语言处理任务的宝贵工具。 它对稀疏向量表示的利用提高了处理文本数据的效率。 ELSER 的词汇表中包含约 30,000 个术语，通过用上下文相关的对应项替换术语来优化查询，确保精确而全面的搜索结果。

让我们深入探讨如何利用 ELSER 的潜力来增强 Elasticsearch 中的搜索能力。你可以参考文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR” 来配置自己的 ELSER。

第 1 步：创建具有所需映射的索引

  • 在 Elasticsearch 中，“索引 (index)” 是指具有共同特征或属于相似类别的文档的集合。 它类似于关系数据库中的表或其他一些 NoSQL 数据库中的类型。 索引中的每个文档都分配有一个唯一标识符，并且包含 JSON 格式的结构化数据。
  • 定义索引的映射，该映射将包含模型根据您的输入生成的 token。 该索引必须有一个 rank_features 字段类型的字段来索引 ELSER 输出。
PUT <index-name>
{
  "mappings": {
    "properties": {
      "ml.tokens": { 
        "type": "rank_features" 
      },
      "name": { 
        "type": "text" 
      }
    }
  }
}

第 2 步：使用推理处理器创建摄取管道

  • Elasticsearch 中的摄取管道使您能够在索引之前对数据应用各种转换。 这些转换包括字段删除、文本值提取和数据丰富等任务。
  • 管道包含一组称为处理器的可定制任务。 这些处理器以顺序方式运行，对传入文档实施特定修改。使用推理处理器创建摄取管道，以使用 ELSER 对正在摄取的数据进行推理。
PUT _ingest/pipeline/<pipeline-name>
{
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_1",
        "target_field": "ml",
        "field_map": { 
          "text": "text_field"
        },
        "inference_config": {
          "text_expansion": { 
            "results_field": "tokens"
          }
        }
      }
    }
  ]
}

第 3 步：将数据添加到索引

  • 索引映射和摄取管道已设置，现在我们可以开始向索引添加数据。
  • 摄取管道作用于传入数据并将相关标记添加到文档中
curl -X POST 'https://<url>/<index-name>/_doc?pipeline=<ingest-pipeline-name' 
  -H 'Content-Type: application/json' 
  -H 'Authorization: ApiKey <Replace_with_created_API_key>' 
  -d '{
  "name" : "How to Adapt Crucial Conversations to Global Audiences"
}'

摄取管道作用于传入数据并将相关 token 添加到文档中：

{
 "name" : "How to Adapt Crucial Conversations to Global Audiences",
 "ml":{
    "tokens": {
        "voice": 0.057680283,
        "education": 0.18481751,
        "questions": 0.4389099,
        "adaptation": 0.6029656,
        "language": 0.4136539,
        "quest": 0.082507774,
        "presentation": 0.035054933,
        "context": 0.2709603,
        "talk": 0.17953876,
        "communication": 1.0619682,
        "international": 0.38651025,
        "different": 0.25769454,
        "conversation": 1.03593,
        "train": 0.021380302,
        "audience": 0.97641367,
        "development": 0.33928272,
        "adapt": 0.90020984,
        "certification": 0.45675382,
        "cultural": 0.63132435,
        "distraction": 0.38943478,
        "success": 0.09179027,
        "cultures": 0.82463825,
        "essay": 0.2730616,
        "institute": 0.21582486,
       },
       "model_id":".elser_model_1"
    }
}

第 4 步：执行语义搜索

  • 使用 text expansion 查询来执行语义搜索。 提供查询文本和 ELSER 模型 ID。
  • 文本扩展查询使用自然语言处理模型将查询文本转换为 token 权重对列表，然后将其用于针对 rank_features 字段的查询。
GET <index-name>/_search
{
   "query":{
      "text_expansion":{
         "ml.tokens":{
            "model_id":".elser_model_1",
            "model_text":<query_text>
         }
      }
   }
}

第 5 步：将语义搜索与其他查询结合起来

  • 我们还可以将 text_expansion 与复合查询中的其他查询结合起来，以获得更精细的结果。
GET my-index/_search
{
  "query": {
    "bool": { 
      "should": [
        {
          "text_expansion": {
            "ml.tokens": {
              "model_text": <query_text>,
              "model_id": ".elser_model_1",
            }
          }
        },
        {
          "query_string": {
            "query": <query_text>,
          }
        }
      ]
    }
  }
}

我们还可以将 text_expansion 与复合查询中的其他查询结合起来，以获得更精细的结果。
与 Elasticsearch 中的其他查询相比，text_expansion 查询通常会产生更高的分数。 我们可以使用 boost 参数调整相关性分数。

更多阅读：

  • Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR

  • Elasticsearch：使用 ELSER 进行语义搜索

  • Elasticsearch：使用 ELSER 释放语义搜索的力量：Elastic Learned Sparse EncoderR

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1051145.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【分布式计算】二、架构(Architectures)

【分布式计算】二、架构(Architectures)

1.中心化架构&#xff08;Centralized Architectures&#xff09; 1.1.经典C/S模型 服务器&#xff1a;一个或多个进程提供服务 客户端&#xff1a;一个或多个进程使用服务 客户端和服务器可以在不同的机器上 客户端遵循请求/回复模型 1.2.传统三层视图 用户界面层&#x…
阅读更多...
【正点原子】开发板可以ping通电脑，电脑ping不通开发板

【正点原子】开发板可以ping通电脑，电脑ping不通开发板

Uboot模式下 uboot模式下因为相关服务没有开启&#xff0c;只能uboot ping通电脑&#xff0c;电脑ping不通开发板 note: 电脑需要关闭防火墙 App模式 该模式下&#xff0c;如果已经打开网络还是ping不通开发板 关闭电脑wifi再重试
阅读更多...
WebPack-打包工具

WebPack-打包工具

从图中我们可以看出&#xff0c;Webpack 可以将多种静态资源 js、css、less 转换成一个静态文件&#xff0c;减少了页面的请求. 下面举个例子 &#xff1a; main.js 我们只命名导出一个变量 export const name"老六"index.js import { name } from "./tset/…
阅读更多...
uboot启动流程涉及reset汇编函数

uboot启动流程涉及reset汇编函数

一. uboot启动流程中函数 之前了解了uboot链接脚本文件 u-boot.lds。 从 u-boot.lds 中我们已经知道了入口点是 arch/arm/lib/vectors.S 文件中的 _start。 本文了解 一下&#xff0c;uboot启动过程中涉及的 reset 函数。本文继上一篇文章学习&#xff0c;地址如下&#xff…
阅读更多...
外包干了2个月，技术有明显退步...

外包干了2个月，技术有明显退步...

先说一下自己的情况&#xff0c;本科生&#xff0c;18年通过校招进入广州某软件公司&#xff0c;干了接近3年的功能测试&#xff0c;今年国庆&#xff0c;感觉自己不能够在这样下去了&#xff0c;长时间呆在一个舒适的环境会让一个人堕落!可我已经在一个企业干了3年的功能测试&…
阅读更多...
ELK 处理 Spring Boot 日志

ELK 处理 Spring Boot 日志

ELK 处理 Spring Boot 日志&#xff0c;妙啊&#xff01; 来源&#xff1a;ibm.com/developerworks/cn/java /build-elk-and-use-it-for-springboot -and-nginx/index.html ELK 简介 Logstash Elasticsearch Kibana ELK 实现方案 ELK 平台搭建 安装 Logstash 安装 Elas…
阅读更多...
ROS系统读取USB相机图像数据

ROS系统读取USB相机图像数据

ROS系统读取USB相机图像数据 前言usb_cam 功能包下载与编译摄像头选择连接摄像头可配置参数 前言 usb_cam功能包简介 为了丰富机器人与外界的交互方式&#xff0c;已经增加了与机器人的语音交互方式&#xff0c;不仅使机器人能够说话发声&#xff0c;还能听懂我们说的话&#…
阅读更多...
友思特案例｜友思特 Ensenso 3D相机：汽车工业自动化的革命性力量

友思特案例｜友思特 Ensenso 3D相机：汽车工业自动化的革命性力量

01 内容摘要 在竞争激烈的汽车行业&#xff0c;自动化生产至关重要。友思特 Ensenso 3D相机为汽车制造商提供了可靠的工具和技术支持&#xff0c;助力多个关键环节。它在汽车座位泡棉切割中提高精确度&#xff0c;降低浪费&#xff0c;提高生产效率&#xff1b;在汽车压铸零部…
阅读更多...
第七章 查找 九、B+树

第七章 查找 九、B+树

目录 一、定义 二、B树需要满足的条件 三、重要考点 一、定义 1、B树是一种常用的数据结构&#xff0c;用于实现关系型数据库中的索引。 2、其特点是可以在磁盘等外存储器上高效地存储大量数据&#xff0c;并支持快速的查询、插入、删除等操作。 3、B树的结构类似于二叉搜…
阅读更多...
ASUS华硕ZenBook 13灵耀U 2代U3300F笔记本UX333FN/FA原装出厂Win10系统工厂安装模式

ASUS华硕ZenBook 13灵耀U 2代U3300F笔记本UX333FN/FA原装出厂Win10系统工厂安装模式

系统自带所有驱动、出厂主题壁纸、系统属性华硕专属LOGO标志、Office办公软件、MyASUS华硕电脑管家等预装程序 下载链接&#xff1a;https://pan.baidu.com/s/1dK0vMZMECPlT63Rb6-jeFg?pwdbym5 所需要工具&#xff1a;16G或以上的U盘(非必需) 文件格式&#xff1a;HDI,SWP,O…
阅读更多...
RocketMQ 消息丢失问题排查记录

RocketMQ 消息丢失问题排查记录

现象 在 spring boot 项目中集成 RocketMQ 时发现消费者接收消息丢失&#xff0c;比如生产者发送了 10 条消息&#xff0c;但是消费者只能接收到 4 条。 在项目中使用的 RocketMQ 版本是 4.9.2&#xff0c;rocketmq-spring-boot-starter 版本是 2.2.2&#xff0c;消息处理逻辑…
阅读更多...
聊聊并发编程——Condition

聊聊并发编程——Condition

目录 一.synchronized wait/notify/notifyAll 线程通信 二.Lock Condition 实现线程通信 三.Condition实现通信分析 四.JUC工具类的示例 一.synchronized wait/notify/notifyAll 线程通信 关于线程间的通信&#xff0c;简单举例下&#xff1a; 1.创建ThreadA传入共享…
阅读更多...
获取dom元素

获取dom元素

<button type"button" click"greet">count is {{ count }}</button>function greet(event) {if (event) {console.log(event)console.log(event.target)console.log(event.target.tagName)} } 很明显没传参数&#xff0c;但是获取到了相应的值…
阅读更多...
JIT介绍

JIT介绍

JIT全称&#xff1a;Just in time。中文译为&#xff1a;即时的、实时的。 JVM中的这项技术名为&#xff1a;实时编译技术&#xff0c;也叫即时编译技术。就是在java程序运行的过程中&#xff0c;将字节码编译为机器码运行在本地&#xff0c;而不是通过JVM解释运行&#xff08;…
阅读更多...
微信公众号网页授权登录获取用户基本信息

微信公众号网页授权登录获取用户基本信息

概述 微信公众号网页授权登录后微信获取用户基本信息&#xff0c;部署即可运行完整demo 详细 一、前言 &#xff08;1&#xff09;适合人群 1&#xff0c;JAVA服务端开发人员 2&#xff0c;初级人员开发人员 3&#xff0c;了解spring springboot maven 3&#xff0c;了…
阅读更多...
结构型设计模式——桥接模式

结构型设计模式——桥接模式

摘要 桥接模式(Bridge pattern): 使用桥接模式通过将实现和抽象放在两个不同的类层次中而使它们可以独立改变。 一、桥接模式的意图 将抽象与实现分离开来&#xff0c;使它们可以独立变化。 二、桥接模式的类图 Abstraction: 定义抽象类的接口Implementor: 定义实现类接口 …
阅读更多...
蓝桥杯 题库 简单 每日十题 day12

蓝桥杯 题库 简单 每日十题 day12

01 列名 问题描述 在Excel中&#xff0c;列的名称使用英文字母的组合。前26列用一个字母&#xff0c;依 次为A到Z&#xff0c;接下来2626列使用两个字母的组合&#xff0c;依次为AA到zz. 请问第2022列的名称是什么&#xff1f; 答案提交 这是一道结果填空的题&#xff0c;你只…
阅读更多...
缓存一致性（cache coherency）解决方案：MESI 协议状态转换详解

缓存一致性（cache coherency）解决方案：MESI 协议状态转换详解

MESI 协议 一&#xff0c;MESI状态释义二&#xff0c;MESI状态转换1 Invalid after Reset2, Invalid > Exclusive3, Exclusive > Modified4 Modified > Shared, Invalid > Shared5 Shared > Invalid, Shared > Modified 三&#xff0c;状态转换场景总结Inval…
阅读更多...
最小生成树 | 市政道路拓宽预算的优化 (Minimum Spanning Tree)

最小生成树 | 市政道路拓宽预算的优化 (Minimum Spanning Tree)

任务描述&#xff1a; 市政投资拓宽市区道路&#xff0c;本着执政为民&#xff0c;节省纳税人钱的目的&#xff0c;论证是否有必要对每一条路都施工拓宽&#xff1f; 这是一个连问带答的好问题。项目制学习可以上下半场&#xff0c;上半场头脑风暴节省投资的所有可行的思路&a…
阅读更多...
因果引擎(Causal Engine)是基于因果推理的人工智能系统

因果引擎(Causal Engine)是基于因果推理的人工智能系统

因果引擎(Causal Engine)是一种基于因果推理的人工智能系统。 其关键思想是通过学习事件之间的因果关系,对环境进行模型化和推理,从而指导AI系统采取行动。 因果引擎的主要特征包括: 建立因果图(Causal Graph):通过统计方法学习不同事件之间的因果关系,构建表示这些因果关系的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023