矢量数据库：LLMs外挂知识库

矢量数据库为管理高维数据提供了专门的解决方案，这对人工智能的上下文决策至关重要。但它们究竟是如何做到的呢？

介绍

信息有多种形式。有些信息是非结构化的，例如文本文档、图片和音频。有些则是结构化的，例如应用程序日志、表格和图表。怎么把这些数据进行统一存储和检索呢？矢量数据库就是为了解决这个问题而诞生的。

向量数据库能够将向量存储为高维数据点并进行高效检索。将文档信息利用text Embedding算法进行嵌入，形成文本向量；同理，可通过多模态表征算法将video/image/audio数据进行表征，生成稠密嵌入向量。然后将稠密向量存入到矢量数据库（如：Pinecone），然后利用相似算法进行高效检索。

矢量数据库创建和检索

安装矢量数据库，例如：Pinecone（私人账号免费）。需要设置嵌入向量的维度和检索指标。由于openAI嵌入模型默认输出维度为1536，因此设置和Embedding Model的输出维度保持一致。检索指标是cosine相似度，也就是向量检索时，通过cosine输出Top-K结果。

可以通过API方式进行数据库“增删改查”操作。通过Pinecone的API方式插入数据的代码如下：
在这里插入图片描述

矢量数据存入到数据库后的效果如下：

矢量数据库构建完成以后，每个数据点都会表征成一个有方向的向量值（Vector Representation）。当有检索诉求时，可通过相似度算法进行计算，从矢量数据库中输出最相似的向量返回即可。

矢量数据库与chatGPT结合：外挂知识库

外挂知识库的意义在哪？最重要的一点是提供更为专业和可控的知识。这些知识相较于chatGPT模糊指引，可以给用户更好更专业的体验。

智能客服是最典型的场景。当有用户申诉“缺货”时，如果直接将chatGPT结果输出给用户时，显然用户会“气炸”的。因为客服已经申诉了，说明用户想直接解决问题，而不是给他提供解决的方法。

这就是外挂知识库+chatGPT的典型应用场景。一方面，chatGPT可以对用户上传图片和文本做深度理解，检测是否属实以及用户申诉的原因是什么。另一方面，通过图文理解的结果，chatGPT可以在外挂知识库中检索对应话术，直接给出专业的解决方案。

整体代码如下：

import openai
import pinecone

# your openai app key and vector database app key
openai.api_key = "your openai appkey"
pinecone.init(api_key="your pinecone appkey",
  environment="your environment")

# prompt
prompt="我买的东西丢了，我没收到货"


# initial your vector database
active_indexes = pinecone.list_indexes()
index = pinecone.Index(active_indexes[0])
print("****************** Initialized：Done ******************")

# your knowledge 
file = open('data/knowledge.txt', 'r')
content = file.read()
file.close()
print("****************** Knowledge acquired：Done ******************")


# knowledge to embedding vector
data_embedding_res = openai.Embedding.create(
  model="text-embedding-ada-002",  
  input=content
  )
  print("****************** knowledge embedding vector：Done ******************")

# knowledge embedding to vector database
upsertRes = index.upsert([
  ("q1", data_embedding_res['data'][0]['embedding'], { "data": content })
])
print("****************** update knowledge embedding to vector database：Done ******************")

# prompt embedding vector
promt_embedding_res = openai.Embedding.create(
  model="text-embedding-ada-002",  
  input=prompt
)
print("****************** prompt embedding vector：Done ******************")

# retrieve knowledge by prompt embedding and return the retrieval result
prompt_res = index.query(
  promt_embedding_res['data'][0]['embedding'],  
  top_k=5,  include_metadata=True
)
print("****************** retrieval：Done ******************")


# reconstruct prompts
contexts = [item['metadata']['data'] for item in prompt_res['matches']]

# chatGPT
completion = openai.ChatCompletion.create(
  model="gpt-3.5-turbo",  
  max_tokens = 200,  
  messages=[
    {"role": "user", "content": prompt}  
  ]
)

print("****************** User prompt: {}  ******************".format(prompt))
print("****************** chatGPT only: {} ******************".format(completion.choices[0].message.content))
print("****************** chatGPT with vector database: {}  ******************".format(contexts[0]))

可以看到，相较于chatGPT输出结果，外挂知识库不仅可以正确理解用户意图，同时能够从知识库中抽取专业的解决方案：“是我们物流的失误导致您没有收到货，我们会给你2倍的赔偿，给您带来的不便请谅解！”

总结

AI-agent的理念是将一个复杂的问题进行拆解执行，最终调用各个部分得到答案。矢量数据库在其中能够承载外挂知识存储和检索功能，将多模数据进行矢量存储，提供更专业，更垂直知识。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述