Elasticsearch：使用 ELSER 释放语义搜索的力量：Elastic Learned Sparse EncoderR

news2024/9/24 5:31:08

问题陈述

在信息过载的时代，根据上下文含义和用户意图而不是精确的关键字匹配来查找相关搜索结果已成为一项重大挑战。 传统的搜索引擎通常无法理解用户查询的语义上下文，从而导致相关性较低的结果。

解决方案：ELSER

Elastic 通过其检索模型 Elastic Learned Sparse EncodeR (ELSER) 引入了该问题的解决方案。 ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为你提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

架构

ELSER 使用 Elasticsearch 排名 rank-feature 类型在索引时存储术语和权重，并在以后进行搜索。 要使用 ELSER，你必须具有适当的语义搜索订阅级别或激活试用期。更多关于订阅的信息，请参阅网站 订阅 | Elastic Stack 产品和支持 | Elastic。

如果关闭部署自动扩展，则 Elasticsearch Service 中用于部署和使用 ELSER 模型的最小专用 ML 节点大小为 4 GB。 建议打开自动缩放，因为它允许你的部署根据需求动态调整资源。

KNN 与 ELSER：

Elasticsearch 的 k 最近邻 (KNN) 搜索和 ELSER (Elastic Learned Sparse EncodeR) 都提供强大的搜索功能，但它们是针对不同类型的搜索任务而设计的，并且以根本不同的方式工作。

Elasticsearch 中的 KNN 搜索

Elasticsearch 中的 KNN 搜索功能使你能够在高维空间中查找给定向量的 “最近邻居（nearest neigbors）”。 这对于图像搜索、产品推荐和异常检测等用例特别有用，在这些用例中，你可以将项目表示为矢量，并且希望查找矢量空间中相似的其他项目。

KNN 搜索的工作原理是对每个矢量进行索引，然后使用距离函数（例如 Euclidean 距离或余弦相似度）来查找最接近给定向量的向量。 这是相似性搜索的一种形式，其目标是查找与给定项目相似的项目。

Elasticsearch 中的 ELSER

另一方面，ELSER 是由 Elastic 训练的检索模型，使你能够执行语义搜索以检索更相关的搜索结果。 此搜索类型为您提供基于上下文含义和用户意图的搜索结果，而不是精确的关键字匹配。

ELSER 是一种域外（out-of-domain）模型，这意味着它不需要对你自己的数据进行微调，使其能够开箱即用地适应各种用例。 它将索引和搜索的段落扩展为术语集合，这些术语在不同的训练数据集中经常同时出现。 这些扩展术语不是搜索术语的同义词； 他们是 learned association。

比较

虽然 KNN 和 ELSER 都可用于提高搜索结果的相关性，但它们是针对不同类型的数据和用例而设计的。 KNN 最适合以下用例：你可以将条目表示为矢量，并且你希望根据其矢量表示找到相似的条目。 另一方面，ELSER 专为你想要查找与给定查询语义相关的搜索结果的用例而设计，即使它们不共享精确的关键字匹配。

在性能方面，KNN 搜索可能是计算密集型的，尤其是在高维空间中，并且可能需要大量资源来提供快速搜索结果。 另一方面，ELSER 使用学习模型来扩展搜索词，这可以更有效，但可能需要合适的订阅级别或试用期激活。

总之，KNN 和 ELSER 之间的选择取决于您的用例的具体要求和数据的性质。

代码示例

在 Kibana 中，你可以从 Machine Learning > Trained Models、Enterprise Search > Indices 或使用开发控制台下载和部署 ELSER。你可以参考文章 “Elasticsearch：部署 ELSER - Elastic Learned Sparse EncoderR” 来在自己的电脑上部署 ELSER 模型。

使用开发控制台

在 Kibana 中，导航到开发控制台并通过运行以下 API 调用来创建 ELSER 模型配置：

PUT _ml/trained_models/.elser_model_1
{
  "input": {
    "field_names": [
      "text_field"
    ]
  }
}

上述命令返回：

{
  "model_id": ".elser_model_1",
  "model_type": "pytorch",
  "model_package": {
    "packaged_model_id": "elser_model_1",
    "model_repository": "https://ml-models.elastic.co",
    "minimum_version": "8.8.0",
    "size": 438123276,
    "sha256": "95f645a3ab8dc66a33de7892391a41ef4fc609a74d21d7b3f7fdd973d58dfe06",
    "metadata": {},
    "tags": [],
    "vocabulary_file": "elser_model_1.vocab.json"
  },
  "created_by": "api_user",
  "version": "8.8.2",
  "create_time": 1690432777746,
  "model_size_bytes": 0,
  "estimated_operations": 0,
  "license_level": "platinum",
  "description": "Elastic Learned Sparse EncodeR v1 (Tech Preview)",
  "tags": [
    "elastic"
  ],
  "metadata": {},
  "input": {
    "field_names": [
      "text_field"
    ]
  },
  "inference_config": {
    "text_expansion": {
      "vocabulary": {
        "index": ".ml-inference-native-000001"
      },
      "tokenization": {
        "bert": {
          "do_lower_case": true,
          "with_special_tokens": true,
          "max_sequence_length": 512,
          "truncate": "first",
          "span": -1
        }
      }
    }
  },
  "location": {
    "index": {
      "name": ".ml-inference-native-000001"
    }
  }
}

使用带有部署 ID 的启动训练模型 deployment API 来部署模型：

POST _ml/trained_models/.elser_model_1/deployment/_start?deployment_id=for_search

上述命令返回：

{
  "assignment": {
    "task_parameters": {
      "model_id": ".elser_model_1",
      "deployment_id": "for_search",
      "model_bytes": 438123276,
      "threads_per_allocation": 1,
      "number_of_allocations": 1,
      "queue_capacity": 1024,
      "cache_size": "438123276b",
      "priority": "normal"
    },
    "routing_table": {
      "Gbl69vadQgK1nOqxUT8LaQ": {
        "current_allocations": 1,
        "target_allocations": 1,
        "routing_state": "started",
        "reason": ""
      }
    },
    "assignment_state": "started",
    "start_time": "2023-07-27T04:40:19.531125Z",
    "max_assigned_allocations": 1
  }
}

部署完成后，我们可以通过 Kibana 来查看部署的结果：

ELSER 就可以在摄取管道或 text_expansion 查询中使用来执行语义搜索。

在摄取管道中使用 ELSER：

PUT _ingest/pipeline/my_pipeline
{
  "description": "ELSER pipeline",
  "processors": [
    {
      "inference": {
        "model_id": ".elser_model_1",
        "target_field": "ml",
        "field_map": {},
        "inference_config": {
          "text_expansion": {
            "results_field": "tokens"
          }
        }
      }
    }
  ]
}

使用管道索引文档。设置管道后，你可以使用它索引文档：

PUT my_index
{
  "mappings": {
    "properties": {
      "ml.tokens": {
        "type": "rank_features" 
      },
      "text_field": {
        "type": "text" 
      }
    }
  }
}

PUT my_index/_doc/1?pipeline=my_pipeline
{
  "text_field": "This is a sample document for ELSER."
}

PUT my_index/_doc/2?pipeline=my_pipeline
{
  "text_field": "Elastic is a great company"
}

最后，你可以使用匹配查询来查询索引文档：

GET my_index/_search
{
  "_source":false,
  "fields": [
    "text_field"
  ], 
  "query": {
    "text_expansion": {
      "ml.tokens": {
        "model_id": ".elser_model_1",
        "model_text": "Sample"
      }
    }
  }
}

上面的搜索结果为：

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 2,
      "relation": "eq"
    },
    "max_score": 5.2040906,
    "hits": [
      {
        "_index": "my_index",
        "_id": "1",
        "_score": 5.2040906,
        "fields": {
          "text_field": [
            "This is a sample document for ELSER."
          ]
        }
      },
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 0.028514616,
        "fields": {
          "text_field": [
            "Elastic is a great company"
          ]
        }
      }
    ]
  }
}

我们再做一次搜索：

GET my_index/_search
{
  "_source":false,
  "fields": [
    "text_field"
  ], 
  "query": {
    "text_expansion": {
      "ml.tokens": {
        "model_id": ".elser_model_1",
        "model_text": "Elastic Stack"
      }
    }
  }
}

上面显示的结果为：

{
  "took": 73,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 13.001609,
    "hits": [
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 13.001609,
        "fields": {
          "text_field": [
            "Elastic is a great company"
          ]
        }
      }
    ]
  }
}

我们再做一次搜索：

GET my_index/_search
{
  "_source":false,
  "fields": [
    "text_field"
  ], 
  "query": {
    "text_expansion": {
      "ml.tokens": {
        "model_id": ".elser_model_1",
        "model_text": "ELK"
      }
    }
  }
}

上面的搜索结果为：

{
  "took": 48,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 0.054624833,
    "hits": [
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 0.054624833,
        "fields": {
          "text_field": [
            "Elastic is a great company"
          ]
        }
      }
    ]
  }
}

最后一个搜索：

GET my_index/_search
{
  "_source":false,
  "fields": [
    "text_field"
  ], 
  "query": {
    "text_expansion": {
      "ml.tokens": {
        "model_id": ".elser_model_1",
        "model_text": "demo doc"
      }
    }
  }
}

结果为：

{
  "took": 56,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 2,
      "relation": "eq"
    },
    "max_score": 4.6410522,
    "hits": [
      {
        "_index": "my_index",
        "_id": "1",
        "_score": 4.6410522,
        "fields": {
          "text_field": [
            "This is a sample document for ELSER."
          ]
        }
      },
      {
        "_index": "my_index",
        "_id": "2",
        "_score": 0.09583376,
        "fields": {
          "text_field": [
            "Elastic is a great company"
          ]
        }
      }
    ]
  }
}

商业用例

ELSER（Elastic 的学习稀疏编码器）可以有效地用于以语义理解和上下文相关性为关键的各种用例。 这里有一些例子：

  1. 信息检索：在大型数据库或文档存储库中，ELSER 可用于检索与给定查询在语义上相关的文档，即使它们不共享精确的关键字匹配。 这在精确的信息检索至关重要的法律、学术或企业环境中特别有用。
  2. 电子商务搜索：电子商务平台可以使用 ELSER 来改进其搜索功能。 当客户搜索产品时，ELSER 可以根据搜索查询的语义上下文提供更相关的结果，从而改善购物体验并有可能增加销售额。
  3. 客户支持：ELSER 可用于客户支持系统，以更好地了解客户查询并提供更相关的解决方案。 例如，客户描述问题的方式可能与支持数据库中的措辞不完全匹配。 ELSER 可以帮助弥合这一差距并找到最相关的支持文档。
  4. 内容推荐：媒体平台可以使用 ELSER 来推荐与用户正在查看或已经查看的内容在语义上相关的内容。 这可以通过提供更多符合用户兴趣的内容来帮助保持用户的参与度。
  5. 社交媒体监控：公司可以使用 ELSER 监控社交媒体并了解有关其品牌的讨论背景。 这可以提供有关客户情绪和新兴趋势的宝贵见解。
  6. 语义 SEO（Search Engine Optimization）：ELSER 可用于理解 Web 内容的语义上下文并针对搜索引擎进行优化。 这可以通过将网站内容与相关搜索查询的语义上下文更紧密地结合起来，帮助提高网站的搜索引擎排名。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/798549.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

虚拟机（VMware）安装Linux（Ubuntu）安装教程

虚拟机（VMware）安装Linux（Ubuntu）安装教程

清华大学开源网站镜像站网址：清华大学开源软件镜像站 | Tsinghua Open Source Mirror 进入之后在搜索框中搜索“ubuntu” 直接点击箭头所指的蓝色字体“ubuntu-20.04.1-desktop-amd64.iso”即可下载
阅读更多...
Jmeter介绍以及脚本制作与调试

Jmeter介绍以及脚本制作与调试

Jmeter介绍 Jmeter 是 Apache 基金会 Jakarta 上的一个纯 Java 开源项目，起初用于基于 Web 的压力测试（pressure test），后来其应用范围逐渐扩展到对文件传输 FTP, 大型数据库（JDBC 方式），脚本程…
阅读更多...
7.27 作业

7.27 作业

1.闹钟 #include "widget.h" #include "ui_widget.h"Widget::Widget(QWidget *parent): QWidget(parent), ui(new Ui::Widget) {ui->setupUi(this);tid1 startTimer(1);//显示时间计时器ui->pushButton_2->setEnabled(false);//设置停止为不可用…
阅读更多...
陕西师范大学大学：融合传统与创新的学府之旅

陕西师范大学大学：融合传统与创新的学府之旅

前言 > 📕作者简介：热爱跑步的恒川，致力于C/C、Java、Python等多编程语言，热爱跑步，喜爱音乐的一位博主。 > 📗本文收录于恒川的日常汇报系列，大家有兴趣的可以看一看 > &#x1f4d…
阅读更多...
MUR2080CT/MUR2080CTR-ASEMI快恢复二极管对管

MUR2080CT/MUR2080CTR-ASEMI快恢复二极管对管

编辑：ll MUR2080CT/MUR2080CTR-ASEMI快恢复二极管对管 型号：MUR2080CT/MUR2080CTR 品牌：ASEMI 封装：TO-220 恢复时间：50ns 正向电流：20A 反向耐压：800V 芯片大小：102MIL*2 …
阅读更多...
BGP劫持原理及如何防御

BGP劫持原理及如何防御

互联网跟人类社会一样，都通过特定的规则和法律来确保社会的正常运行。BGP协议就是互联网中的“规则”之一。BGP用于在不同的自治系统(AS)之间交换路由信息，当两个AS需要交换路由信息时，每个AS都必须指定一个运行BGP的节点，来代表A…
阅读更多...
K8s使用Ceph作为后端存储

K8s使用Ceph作为后端存储

Ceph概述 部署Ceph集群 Ceph存储使用 Pod使用Ceph持久化数据 Ceph监控 Rook部署Ceph Ceph概述 Ceph介绍 Ceph架构 Ceph核心概念 Ceph介绍 Ceph是一个开源的分布式存储系统，具有高扩展性、高性能、高可靠性等特点，提 供良好的性能、可靠性和可扩展性。…
阅读更多...
重新C++系列之运算符重载

重新C++系列之运算符重载

一、什么是运算符重载 简单来讲就是对运算符赋予新的意义，但是又不能改变原有的含义，它本身也就是一个函数。运算符重载的本质是以函数的方式来体现。 二、运算符重载有几种 1、按照作用域来划分，有全局操作符重载函数和成员函数操作符重载函…
阅读更多...
面向对象——步入JavaScript高级阶段的敲门砖

面向对象——步入JavaScript高级阶段的敲门砖

目录 前言一、认识对象1.什么是对象2.对象的方法3.对象的遍历4.对象的深浅克隆 二、认识函数上下文1.函数的上下文规则 ★2.call和apply ★ 三、构造函数1.用new操作符调用函数2.类与实例3.构造函数和类" 四、原型和原型链1.prototype和原型链查找 ★2.在prototype上添加方…
阅读更多...
access偏移注入

access偏移注入

偏移注入是因为知道猜到access数据库表名&#xff0c;猜不到列名 因为之前http://192.168.246.11:83/news_view.asp?id15网站有设置waf过滤&#xff0c;需要先把waf防御先删掉后使用 <!--#include file"waf.asp"--> 之前已经知道注入点&#xff0c;详见acces…
阅读更多...
从简单的例子 来看 倒排索引

从简单的例子 来看 倒排索引

文章首发地址 倒排索引-是什么&#xff1f; 倒排索引&#xff08;Inverted Index&#xff09;是一种常用的文本检索技术&#xff0c;用于快速定位包含某个词汇的文档集合。它的原理是将文档中的每个单词记录在一个索引表中&#xff0c;并且将每个单词所对应的文档编号和位置都…
阅读更多...
多租户的低代码平台，Saas开发平台：MateCloud

多租户的低代码平台，Saas开发平台：MateCloud

简介 MateCloud是一款基于Spring Cloud Alibaba的微服务架构。目前已经整合Spring Boot 2.7.0、 Spring Cloud 2021、Spring Cloud Alibaba 2021、Spring Security Oauth2、Feign、Dubbo、JetCache、RocketMQ等&#xff0c;支持多租户的低代码平台&#xff0c;Saas平台开发套件…
阅读更多...
Linux磁盘管理命令

Linux磁盘管理命令

目录 1. du (disk usage文件和目录占用的磁盘空间) 2. df (disk free 查看磁盘使用情况) 3. lsblk(list block查看块设备挂载情况) 1. du (disk usage文件和目录占用的磁盘空间) du [-ahskm] 目录/文件&#xff08;文件大小可以直接使用ll查看&#xff09; 选项与参数&a…
阅读更多...
树的遍历（一题直接理解中序、后序、层序遍历，以及树的存储）

树的遍历（一题直接理解中序、后序、层序遍历，以及树的存储）

题目如下&#xff1a; 一个二叉树&#xff0c;树中每个节点的权值互不相同。 现在给出它的后序遍历和中序遍历&#xff0c;请你输出它的层序遍历。 输入格式 第一行包含整数 N&#xff0c;表示二叉树的节点数。 第二行包含 N 个整数&#xff0c;表示二叉树的后序遍历。 第…
阅读更多...
二、Spring源码-初始化

二、Spring源码-初始化

Spring初始化源码分析 接下来我们详细分析下refresh方法的作用。 一、refresh方法 Overridepublic void refresh() throws BeansException, IllegalStateException {synchronized (this.startupShutdownMonitor) {// 1.context 为刷新做准备// Prepare this context for refre…
阅读更多...
速速收藏！程序员副业赚钱的8种模式

速速收藏！程序员副业赚钱的8种模式

程序员副业赚钱的方式有很多&#xff0c;我总结了程序员兼职赚钱&#xff0c;增加收入的八种模式&#xff0c;希望能够给在迷茫的程序员一点参考&#xff01; 投资理财 很多程序员多少都会买买基金、炒炒股作为一个小副业&#xff0c;由于程序员大多是理科生&#xff0c;有比…
阅读更多...
机器学习笔记之优化算法(一)无约束优化概述

机器学习笔记之优化算法(一)无约束优化概述

机器学习笔记之优化算法——无约束优化概述 引言回顾&#xff1a;关于支持向量机的凸二次优化问题无约束优化问题概述解析解与数值解数值解的单调性关于优化问题的策略线搜索方法信赖域方法 引言 从本节开始&#xff0c;将介绍优化算法 ( Optimization Algorithm ) (\text{Opt…
阅读更多...
短视频去水印小程序，一键部署你的小程序，可开流量主，实现睡后收入

短视频去水印小程序，一键部署你的小程序，可开流量主，实现睡后收入

插件地址 短视频去水印小程序&#xff0c;一键部署你的小程序&#xff0c;可开流量主&#xff0c;实现睡后收入 插件说明 本插件包含以下两部分&#xff1a; 短视频去水印插件&#xff0c;仅为一个接口&#xff0c;可以集成到自己的任意程序中。短视频去水印插件配套小程序…
阅读更多...
WGCLOUD - v3.4.7开始访问地址不用加/wgcloud了

WGCLOUD - v3.4.7开始访问地址不用加/wgcloud了

WGCLOUD在v3.4.7版本更新中说明&#xff0c;从v3.4.7版本开始&#xff0c;访问server页面&#xff0c;不用在URL加/wgcloud了 只需要IP和端口就可以了&#xff0c;如&#xff1a;http://localhost:9999
阅读更多...
自媒体必备的8个素材网站，视频、音效、图片全部免费下载

自媒体必备的8个素材网站，视频、音效、图片全部免费下载

自媒体必备的视频、音效、图片素材&#xff0c;这8个网站帮你解决。赶紧马住&#xff01; 菜鸟图库 https://www.sucai999.com/video.html?vNTYwNDUx 菜鸟图库虽然是一个设计网站&#xff0c;但它还有非常丰富的视频和音频素材&#xff0c;视频素材全部都是高清无水印&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023