增强FAQ搜索引擎：发挥Elasticsearch中KNN的威力

news2024/11/17 3:40:10

英文原文地址：https://medium.com/nerd-for-tech/enhancing-faq-search-engines-harnessing-the-power-of-knn-in-elasticsearch-76076f670580

增强FAQ搜索引擎：发挥Elasticsearch中KNN的威力

2023 年 10 月 21 日

在一个快速准确的信息检索至关重要的时代，开发强大的搜索引擎是至关重要的。随着大型语言模型(LLM)和信息检索体系结构(如RAG)的出现，在现代软件系统中利用文本转向量(Embeddings)和向量数据库已经变得非常流行。我们深入研究了如何利用Elasticsearch的k近邻(KNN)搜索和来自强大语言模型的文本Embedding的细节，这是一个强有力的组合，有望彻底改变我们访问常见问题(FAQ)的方式。通过对Elasticsearch的KNN功能的全面探索，我们将揭示这种集成如何使我们能够创建一个前沿的FAQ搜索引擎，通过理解查询的语义上下文，以闪电般的延迟增强用户体验。

在开始设计解决方案之前，让我们先了解信息检索系统中的一些基本概念。

文本转向量（Embeddings）

The best way to describe an embedding is explained in this article.

Embedding是一条信息的数字表示，例如，文本、文档、图像、音频等。它的特点在于我们不需要完全通过字面值（通俗一点就是关键字）来检索内容，而是可以通过相近的意思来检索。

语义检索

传统的搜索系统使用词法匹配来检索给定查询的文档。语义搜索旨在使用文本表示（Embedding）来理解查询的上下文，以提高搜索准确性。

语义搜索的类型

对称语义搜索：查询和搜索文本长度相似的搜索用例。例如，在数据集中找到类似的问题。

不对称语义搜索：查询和搜索文本长度不同的搜索用例。例如，为给定查询查找相关段落。

译注：如果你用的chunking基于句向量，那么可以认为就是对称的。

向量搜索引擎(向量数据库)

img

向量搜索引擎是专门的数据库，可用于存储非结构化信息，如图像、文本、音频或视频经过Embedding之后的向量。在这里，我们将使用Elasticsearch的向量搜索功能。现在我们先来了解搜索系统的构建流程，让我们深入了elasticsearch的体系结构和实现。

解决方案架构

img
  1. 搜索解决方案的第一步是将问答对索引到Elasticsearch中。我们将创建一个索引，并将问题和答案Embedding存储在同一个索引中。我们将根据检索的特征使用2个独立的模型来Embedding问题和答案。
  2. 我们将使用步骤1中使用的相同模型嵌入查询，并形成搜索查询（3部分，即问题，答案，词汇搜索），将查询Embedding映射到各自的问题和答案Embedding。
  3. 我们还将为查询的每个部分提供一个boost值，以表示它们在组合中的重要性。返回的最终结果基于分数的总和乘以各自的boost值进行排序。

环境设置

设置索引。您可以使用以下映射作为起点。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 1
  },
  "mappings": {
    "properties": {
      "Question": { "type": "text" },
      "Answer": { "type": "text" },
      "question_emb": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "dot_product"
      },
      "answer_emb": {
        "type": "dense_vector",
        "dims": 1024,
        "index": true,
        "similarity": "dot_product" 
      }
    }
  }
}

模型选择

由于我们使用一种相当常见的语言处理数据，因此为了进行这个实验，我从Retrieval（用于答案）和STS（用于问题）部分的MTEB排行榜中选择了表现最好的模型。

选择模式:

  1. 答案（Retrieval）：BAAI/big -large-en-v1.5(您可以使用quantized版本进行更快的推理)
  2. 提问（STS）：thenlper/gte-base

如果您有特定于领域的常见问题解答，并且想要检查哪个模型表现最好，您可以使用Beir：https://github.com/beir-cellar/beir。查看https://github.com/beir-cellar/beir/wiki/Load-your-custom-dataset，该部分描述了如何加载您的自定义数据集进行评估。

实现

为了这个实验的目的，我将使用Kaggle的一个心理健康常见问题解答（https://www.kaggle.com/datasets/narendrageek/mental-health-faq-for-chatbot/）数据集。

  • 加载数据集
1
2

import pandas as pd
data = pd.read_csv('Mental_Health_FAQ.csv')
  • 生成Embedding
1
2
3
4

from sentence_transformers import SentenceTransformer
question_emb_model = SentenceTransformer('thenlper/gte-base')

data['question_emb'] = data['Questions'].apply(lambda x: question_emb_model.encode(x, normalize_embeddings=True))

注：我们将Embedding归一化，使用点积代替余弦相似度作为相似度度量。计算速度更快，推荐参考Elasticsearch的Dense Vector Field(https://www.elastic.co/guide/en/elasticsearch/reference/8.8/dense-vector.html)文档。

1
2
3

answer_emb_model = SentenceTransformer('BAAI/bge-large-en-v1.5')

data['answer_emb'] = data['Answers'].apply(lambda x: answer_emb_model.encode(x, normalize_embeddings=True))
  • 索引文件

我们将使用Elasticsearch辅助函数。具体来说，我们将使用streaming_bulk API来索引文档。

首先，让我们实例化elasticsearch python客户端。

1
2
3
4
5
6
7
8
9

from elasticsearch import Elasticsearch

from ssl import create_default_context

context = create_default_context(cafile=r"path\to\certs\http_ca.crt")
es = Elasticsearch('https://localhost:9200',
    http_auth=('elastic', 'elastic_generated_password'),
    ssl_context=context,
)

接下来，我们需要创建一个文档生成器，它可以提供给流批量API。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

index_name="faq-index"
def generate_docs():
    for index, row in data.iterrows():
        doc = {
                "_index": index_name,
                "_source": {
                    "faq_id":row['Question_ID'],
                    "question":row['Questions'],
                    "answer":row['Answers'],
                    "question_emb": row['question_emb'],
                    "answer_emb": row['answer_emb']
                },
            }

        yield doc

最后，我们可以索引文档。

1
2
3
4
5
6
7
8
9
10

import tqdm
from elasticsearch.helpers import streaming_bulk
number_of_docs=len(data)
progress = tqdm.tqdm(unit="docs", total=number_of_docs)
successes = 0
for ok, action in streaming_bulk(client=es, index=index_name, actions=generate_docs()):
    progress.update(1)
    successes += ok

print("Indexed %d/%d documents" % (successes, number_of_docs))
  • 查询文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

def faq_search(query="", k=10, num_candidates=10):
    
    if query is not None and len(query) == 0:
        print('Query cannot be empty')
        return None
    else:
        query_question_emb = question_emb_model.encode(query, normalize_embeddings=True)

        instruction="Represent this sentence for searching relevant passages: "

        query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)

        payload = {
          "query": {
            "match": {
              "title": {
                "query": query,
                "boost": 0.2
              }
            }
          },
          "knn": [ {
            "field": "question_emb",
            "query_vector": query_question_emb,
            "k": k,
            "num_candidates": num_candidates,
            "boost": 0.3
          },
          {
            "field": "answer_emb",
            "query_vector": query_answer_emb,
            "k": k,
            "num_candidates": num_candidates,
            "boost": 0.5
          }],
          "size": 10,
          "_source":["faq_id","question", "answer"]
        }

        response = es.search(index=index_name, body=payload)['hits']['hits']

        return response

注：正如模型页面上所指示的，在将查询转换为Embedding之前，我们需要将指令附加到查询中。此外，我们使用模型的v1.5版本，因为它具有更好的相似度分布。查看模型页面上的常见问题解答以获取更多详细信息。

评价

为了了解所提出的方法是否有效，将其与传统的KNN搜索系统进行评估是很重要的。让我们试着定义这两个系统并评估提议的系统。

系统1：非对称KNN搜索（查询和回答向量）。

系统2：查询(BM25)、非对称KNN搜索(查询和答案向量)和对称KNN搜索(查询和问题向量)的组合。

为了评估系统，我们必须模拟用户如何使用搜索。简而言之，我们需要从源问题中生成与问题复杂性相似的意译问题。我们将使用t5-small-fine-tuned-quora-for-paraphrasing微调模型来解释问题。

让我们定义一个可以生成转述问题的函数。

1
2
3
4
5
6
7
8
9
10
11
12
13

from transformers import AutoModelWithLMHead, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-small-finetuned-quora-for-paraphrasing")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-small-finetuned-quora-for-paraphrasing")

def paraphrase(question, number_of_questions=3, max_length=128):
    input_ids = tokenizer.encode(question, return_tensors="pt", add_special_tokens=True)

    generated_ids = model.generate(input_ids=input_ids, num_return_sequences=number_of_questions, num_beams=5, max_length=max_length, no_repeat_ngram_size=2, repetition_penalty=3.5, length_penalty=1.0, early_stopping=True)

    preds = [tokenizer.decode(g, skip_special_tokens=True, clean_up_tokenization_spaces=True) for g in generated_ids]

    return preds

现在我们已经准备好了我们的释义函数，让我们创建一个评估数据集，我们将使用它来度量系统的准确性。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

temp_data = data[['Question_ID','Questions']]

eval_data = []

for index, row in temp_data.iterrows():
    preds = paraphrase("paraphrase: {}".format(row['Questions']))
    
    for pred in preds:
        temp={}
        temp['Question'] = pred
        temp['FAQ_ID'] = row['Question_ID']
        eval_data.append(temp)
    
eval_data = pd.DataFrame(eval_data)

#shuffle the evaluation dataset
eval_data=eval_data.sample(frac=1).reset_index(drop=True)

最后，我们将修改faq_search函数以返回相应系统的faq_id。

对于系统1:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

def get_faq_id_s1(query="", k=5, num_candidates=10):
    
    if query is not None and len(query) == 0:
        print('Query cannot be empty')
        return None
    else:
        instruction="Represent this sentence for searching relevant passages: "

        query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)

        payload = {
          "knn": [
          {
            "field": "answer_emb",
            "query_vector": query_answer_emb,
            "k": k,
            "num_candidates": num_candidates,
          }],
          "size": 1,
          "_source":["faq_id"]
        }

        response = es.search(index=index_name, body=payload)['hits']['hits']

        return response[0]['_source']['faq_id']

对于系统2:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

def get_faq_id_s2(query="", k=5, num_candidates=10):
    
    if query is not None and len(query) == 0:
        print('Query cannot be empty')
        return None
    else:
        query_question_emb = question_emb_model.encode(query, normalize_embeddings=True)

        instruction="Represent this sentence for searching relevant passages: "

        query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)

        payload = {
          "query": {
            "match": {
              "title": {
                "query": query,
                "boost": 0.2
              }
            }
          },
          "knn": [ {
            "field": "question_emb",
            "query_vector": query_question_emb,
            "k": k,
            "num_candidates": num_candidates,
            "boost": 0.3
          },
          {
            "field": "answer_emb",
            "query_vector": query_answer_emb,
            "k": k,
            "num_candidates": num_candidates,
            "boost": 0.5
          }],
          "size": 1,
          "_source":["faq_id"]
        }

        response = es.search(index=index_name, body=payload)['hits']['hits']

        return response[0]['_source']['faq_id']

注：Boost值是实验性的。为了这个实验，我根据组合中每个领域的重要性进行了划分。搜索中每个字段的重要性完全是主观的，可能由业务本身定义，但如果没有，系统的一般经验法则是Answer向量 > Question向量 > Query。

我们已经准备好开始评估了。我们将为两个系统生成一个预测列，并将其与原始的faq_id进行比较。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

eval_data['PRED_FAQ_ID_S1'] = eval_data['Question'].apply(get_faq_id_s1)

from sklearn.metrics import accuracy_score

ground_truth = eval_data["FAQ_ID"].values
predictions_s1 = eval_data["PRED_FAQ_ID_S1"].values

s1_accuracy = accuracy_score(ground_truth, predictions_s1)

print('System 1 Accuracy: {}'.format(s1_accuracy))
System 1 Accuracy: 0.7312925170068028
eval_data['PRED_FAQ_ID_S2'] = eval_data['Question'].apply(get_faq_id_s2)

predictions_s2 = eval_data["PRED_FAQ_ID_S2"].values

s2_accuracy = accuracy_score(ground_truth, predictions_s2)

print('System 2 Accuracy: {}'.format(s2_accuracy))
System 2 Accuracy: 0.8401360544217688

与非对称KNN搜索相比，我们可以看到准确度提高了7-11% 。

我也尝试过ramsrigouthamg/t5_paraphraser，但这个模型产生的问题有点复杂和冗长（虽然在上下文中）。您还可以使用LLM来生成评估数据集并检查系统的执行情况。

准确性的提高是主观的，取决于查询的质量，即查询的上下文丰富程度、Embedding质量，甚至用户的不同使用场景。为了更好地理解这一点，让我们考虑两种终端用户:

  1. 一般用户，想要了解你的产品和服务的一些事实：在这种情况下，上述系统会做得很好，因为问题简单，直观，在上下文中足够。
  2. 专业用户，例如想要了解产品的一些复杂细节以建立系统或解决某些问题的工程师：在这种情况下，查询就其词法组成而言更加特定于领域，因此，开箱即用的模型Embedding将无法捕获所有上下文。那么，我们如何解决这个问题呢?系统的架构将保持不变，但搜索系统的整体准确性可以通过使用特定领域的数据（或预训练的特定领域的模型）微调这些模型来提高。

结论

在本文中，我们提出并实现了使用多种搜索类型组合的FAQ搜索。我们研究了Elasticsearch如何将对称和非对称语义搜索结合起来，从而将搜索系统的性能提高了11%。我们也了解所建议的搜索架构的系统和资源需求，这将是考虑采用此方法的主要决定因素。

本文Github代码：https://github.com/satishsilveri/Semantic-Search/blob/main/FAQ-Search-using-Elastic.ipynb

引用

  1. k-nearest neighbor (kNN) search | Elasticsearch Guide [8.11] | Elastic
  2. Semantic Search — Sentence-Transformers documentation
  3. https://huggingface.co/blog/getting-started-with-embeddings
  4. Install Elasticsearch with Docker | Elasticsearch Guide [8.11] | Elastic
  5. Dense vector field type | Elasticsearch Guide [8.8] | Elastic
  6. Mental Health FAQ for Chatbot | Kaggle
  7. https://huggingface.co/spaces/mteb/leaderboard
  8. https://huggingface.co/BAAI/bge-large-en-v1.5
  9. https://huggingface.co/thenlper/gte-base
  10. https://huggingface.co/mrm8488/t5-small-finetuned-quora-for-paraphrasing

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1385390.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

收银系统源码，连锁店收银系统源码

收银系统源码，连锁店收银系统源码

智慧新零售系统是一套线下线上一体化的收银系统。致力于给零售门店提供『多样化线下收银』、『ERP进销存』、『o2o小程序商城』、『精细化会员管理』、『丰富营销插件』等一体化行业解决方案！ 一、多样化线下收银 1.聚合收款码 ①适用商户：小微门店&am…
阅读更多...
在 .NET 中使用可以漫游的 Web 凭据

在 .NET 中使用可以漫游的 Web 凭据

Windows 凭据管理器是一个内置在 Windows 操作系统中的功能，为用户提供一种安全的方式来存储和管理凭据。本文主要介绍如何在 .NET 中使用可以漫游的 Web 凭据，以及使用中的基本事项。 1. 引言 在前面的文章《试用 Windows Terminal 中的 Terminal Chat…
阅读更多...
SwiftUI CoreData Picker

SwiftUI CoreData Picker

开发多账本功能 CoreData 与 Picker 的使用 上代码： // // TestZhangBenPicker.swift // pandabill // // Created by 朱洪苇 on 2024/1/14. //import SwiftUIstruct TestZhangBenPicker: View {FetchRequest(sortDescriptors: [SortDescriptor(\.cc_at)],anima…
阅读更多...
人工智能与六西格玛设计：一场颠覆性的融合之旅

人工智能与六西格玛设计：一场颠覆性的融合之旅

随着科技的飞速发展，人工智能（AI）和六西格玛设计（Six Sigma）已成为当今企业追求卓越的关键工具。当这两大领域相遇，它们将引发一场创新与变革的狂潮。本文将探讨AI与六西格玛设计结合的潜力，以及…
阅读更多...
MySQL 查看表结构简单命令

MySQL 查看表结构简单命令

一、简单描述表结构，字段类型 desc tabl_name; # 表名 显示表结构，字段类型，主键，是否为空等属性。 二、查询表中列的注释信息 select * from information_schema.columns where table_schema db #表所在数据库 and table_n…
阅读更多...
易基因：表观遗传学和表观转录组修饰在植物金属和准金属暴露中的作用 | 抗逆综述

易基因：表观遗传学和表观转录组修饰在植物金属和准金属暴露中的作用 | 抗逆综述

大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 非必需金属（non-essential metal）和准金属（metalloid，也称类金属）对土壤的污染是全球许多地区面临的严重问题。这些非必需金属…
阅读更多...
java发送邮件(注:本章以163邮箱为例)

java发送邮件(注:本章以163邮箱为例)

目录 前言 一邮件服务器与传输协议 二.发送邮件思路 2.1注册163邮箱: 2.2、打开邮箱服务获取授权码 三.代码实现邮件发送 3.1第三方jar包 3.2创建邮件工具类 3.3编写测试类 前言 电子邮件的应用非常广泛，例如在某网站注册了一个账户，自动发送一…
阅读更多...
Vue报错 Cannot find module ‘../../modules/es6.symbol‘解决办法

Vue报错 Cannot find module ‘../../modules/es6.symbol‘解决办法

在进行webpack打包的时候，会出现Cannot find module XXX’的错误，找不到某个模块的错误，今天给出解决方法： 直接进行npm install重新打包；如果npm install重新打包之后，仍然出现这个问题，可以进…
阅读更多...
Springboot 整合阿里云安装的redis

Springboot 整合阿里云安装的redis

今天购买了一台阿里云实例于是在上面装了一个redis,开始时一直连不上，一直报DENIED Redis is running in protected mode because protected mode is enabled 或者是无法连接的错误，于是检查配置redis.conf中：bind 屏蔽或者0.0.0.0 设置&…
阅读更多...
Vue2-Vuex中State、Mutation及mapState辅助函数、mapMutations的基本用法

Vue2-Vuex中State、Mutation及mapState辅助函数、mapMutations的基本用法

Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。它采用集中式存储管理应用的所有组件的状态，并以相应的规则保证状态以一种可预测的方式发生变化。 个人笔记，仅供参考。 state：全局共享的响应式数据 mutation:声明修改全局响应式数据…
阅读更多...
FPGA 原理图细节--画引脚

FPGA 原理图细节--画引脚

BGA引脚表示 1.1 FPGA此引脚要正确和清晰，会在“Package Pin”中用到次物理接口 1.2, MCU 只用管对应的GPIO逻辑接口就可以了 标识Bank电平 标识出对应Bank的电平，在电路设计中可以清晰的知道对应的脚位输出电平。在"IO std"也方便的选择 Ea…
阅读更多...
PPT插件-大珩助手-保留原素材的位置和大小一键替换

PPT插件-大珩助手-保留原素材的位置和大小一键替换

保留原素材的位置和大小一键替换 若勾选了一键替换，对于从素材库插入的图形，可以使得它的位置、大小与幻灯片中选中的形状一致 软件介绍 PPT大珩助手是一款全新设计的Office PPT插件，它是一款功能强大且实用的PPT辅助工具，支持W…
阅读更多...
Python 以相对/绝对路径的方式压缩文件

Python 以相对/绝对路径的方式压缩文件

文章目录 1. tarfile 简单介绍2. tarfile 支持的模式3. 绝对路径压缩4. 相对路径压缩5. 参考 1. tarfile 简单介绍 Python 的 tarfile 模块提供了对 .tar 格式归档文件的全面支持，允许用户创建、读取、修改和写入 tar 归档文件。在实际应用中，tar 文件通…
阅读更多...
vue-vben-admin 与.net core 结合实例 【自学与教学 小白教程】---第4节---部门管理

vue-vben-admin 与.net core 结合实例 【自学与教学 小白教程】---第4节---部门管理

ue-vben-admin 与.net core 结合实例 这里计划使用.net core 作为后端 。目标：打造好看 易用 开箱即用 的netcore一体化框架。Vue Vben Admin For NetCore 取命 hcrain-vvadmin 我不是前端人员 但有时开发还是要写一些界面。 之前使用layui是时候 狠心升级下了。 …
阅读更多...
TongLINKQ（2）：TongLINKQ服务端安装

TongLINKQ（2）：TongLINKQ服务端安装

1 安装前的准备 明确应用（JDK）和TongLINK/Q的版本、位数（要么都是32位，要么都是64位）TLQ安装程序使用InstallAnywhere打包而成，因此需要JDK1.5及以上版本。 2 安装步骤 3 选择安装安装包 目前TongLINKQ的…
阅读更多...
4. Mybatis 事务和Spring事务关系

4. Mybatis 事务和Spring事务关系

大体上分为两种情况：方法上添加了事务注解Transactional 和方法上没有添加事务注解Transactional。 添加了Transactional 注解的在注入 bean 的时候就会被创建代理类，在代理类中使用增强逻辑进行事务处理。没有添加Transactional 注解的，在 …
阅读更多...
文件模块常用api

文件模块常用api

文件模块常用api 文件夹常用操作 文件夹操作 fs.mkdir fs.rmdir 需要是空目录 题目：递归删除目录* 串行/并行删除文件*
阅读更多...
肯尼斯·里科《C和指针》第6章 指针（4）实例

肯尼斯·里科《C和指针》第6章 指针（4）实例

肯尼斯里科《C和指针》第6章 指针&#xff08;1&#xff09;-CSDN博客 肯尼斯里科《C和指针》第6章 指针&#xff08;2&#xff09;-CSDN博客 肯尼斯里科《C和指针》第6章 指针&#xff08;3&#xff09;-CSDN博客 6.12 实例 /* ** 计算一个字符串的长度。 */ #include <…
阅读更多...
SSL证书怎么选？

SSL证书怎么选？

首先&#xff0c;我们需要理解不同类型的SSL证书及其费用差异。通常情况下&#xff0c;SSL证书分为域名验证型&#xff08;DV&#xff09;、组织验证型&#xff08;OV&#xff09;和企业验证型&#xff08;EV&#xff09;三种。其中&#xff0c;DV证书是最常见的类型&#xff0…
阅读更多...
入驻商城小程序系统源码：众多自定义组件以及营销插件随心搭，独立部署，带完整的搭建教程

入驻商城小程序系统源码：众多自定义组件以及营销插件随心搭，独立部署，带完整的搭建教程

现如今&#xff0c;互联网在不断的发展&#xff0c;小程序已成为电商行业的重要战场。入驻商城小程序系统源码正是基于这一背景&#xff0c;为用户提供了一套功能强大、易于定制的电商解决方案。该源码拥有众多自定义组件和营销插件&#xff0c;支持独立部署&#xff0c;并附带…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023