llamaindex+Internlm2 RAG实践 #书生谱语大模型实战营#

1.打卡任务：

本次的打卡任务是llamaindex+Internlm2 RAG实践，我们需要基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前InternLM2-Chat-1.8B模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。

截图打卡：

我们询问模型一个问题“Xtuner是什么？”

图一：没有使用RAG之前的模型输出，可以看到模型回答是不正确的

图二：使用RAG以后，模型可以正确的回答了

图三：使用webui进行展示，同样是使用RAG以后的结果，模型可以正确回答。

2.实践流程：

我们根据教程一步步的往下走即可，教程参考链接：Tutorial/docs/L1/LlamaIndex at camp3 · InternLM/Tutorial (github.com)

这里根据教程再简单的说一下流程，需要详细步骤的请参考原始教程。

1）环境、模型准备

配置基础环境

我们在 Intern Studio 服务器上创建一个开发机。然后进入开发机，创建新的conda环境，命名为 llamaindex，并安装好相应的Python依赖包。

pip install einops
pip install  protobuf

2）安装 Llamaindex

conda activate llamaindex
pip install llama-index==0.10.38 llama-index-llms-huggingface==0.2.0 "transformers[torch]==4.41.1" "huggingface_hub[inference]==0.23.1" huggingface_hub==0.23.1 sentence-transformers==2.7.0 sentencepiece==0.2.0

3）下载 Sentence Transformer 模型

import os

# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

4）下载 NLTK 相关资源

我们用以下命令下载 nltk 资源并解压到服务器上：

cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

5）LlamaIndex HuggingFaceLLM

创建一个Python文件，里面代码如下：

# 导入 HuggingFaceLLM 类，这是一个用于创建基于 Hugging Face 的语言模型的类。
from llama_index.llms.huggingface import HuggingFaceLLM
# 导入 ChatMessage 类，用于表示聊天消息。
from llama_index.core.llms import ChatMessage

# 创建一个 HuggingFaceLLM 实例，传入模型和分词器的路径以及其他配置参数。
llm = HuggingFaceLLM(
    # 模型的本地路径。
    model_name="/root/model/internlm2-chat-1_8b",
    # 分词器的本地路径。
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    # 模型加载时的额外参数。
    model_kwargs={
        # 允许信任远程代码。这是因为有些模型可能使用了自定义的代码实现。
        "trust_remote_code": True,
    },
    # 分词器加载时的额外参数。
    tokenizer_kwargs={
        # 允许信任远程代码。
        "trust_remote_code": True,
    }
)

# 使用创建的模型实例进行聊天交互。
# 创建一个 ChatMessage 实例，内容为 "xtuner是什么？"。
message = ChatMessage(content="xtuner是什么？")
# 使用模型的 chat 方法发送消息，并接收回复。
rsp = llm.chat(messages=[message])

# 输出模型的回复。
print(rsp)

运行后可以看到如下效果：

可以看到这个效果并不理想，模型的回答是不正确的。

6）LlamaIndex RAG

我们使用RAG，代码参考：


from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

llm = HuggingFaceLLM(
    model_name="/root/model/internlm2-chat-1_8b",
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    model_kwargs={"trust_remote_code":True},
    tokenizer_kwargs={"trust_remote_code":True}
)
#设置全局的llm属性，这样在索引查询时会使用这个模型。
Settings.llm = llm

#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("xtuner是什么?")

print(response)

此时再看一下模型的回答：

可以看到，模型回答了正确的结果，比之前的回答进步很多。

7） LlamaIndex web

我们可以使用webui来观察效果，代码如下：

import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")

# 初始化模型
@st.cache_resource
def init_models():
    embed_model = HuggingFaceEmbedding(
        model_name="/root/model/sentence-transformer"
    )
    Settings.embed_model = embed_model

    llm = HuggingFaceLLM(
        model_name="/root/model/internlm2-chat-1_8b",
        tokenizer_name="/root/model/internlm2-chat-1_8b",
        model_kwargs={"trust_remote_code": True},
        tokenizer_kwargs={"trust_remote_code": True}
    )
    Settings.llm = llm

    documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()

    return query_engine

# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:
    st.session_state['query_engine'] = init_models()

def greet2(question):
    response = st.session_state['query_engine'].query(question)
    return response

      
# Store LLM generated responses
if "messages" not in st.session_state.keys():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]    

    # Display or clear chat messages
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.write(message["content"])

def clear_chat_history():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]

st.sidebar.button('Clear Chat History', on_click=clear_chat_history)

# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):
    return greet2(prompt_input)

# User-provided prompt
if prompt := st.chat_input():
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.write(prompt)

# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Thinking..."):
            response = generate_llama_index_response(prompt)
            placeholder = st.empty()
            placeholder.markdown(response)
    message = {"role": "assistant", "content": response}
    st.session_state.messages.append(message)

我们再看一下效果：

3.问题：

本次任务主要碰到了库不兼容的问题，从而导致报错如下：

这个报错主要是因为库不兼容导致的，我们需要重新安装一下llama-index-core==0.10.57，

llama-index-embeddings-huggingface ==0.2.3，llama-index-embeddings-instructor==0.1.3。

库的不兼容问题是很难debug的，我们需要去观察库不兼容的信息，然后去pypi上查找库的release历史版本，找到一个合适的兼容版本即可。这也是debug的一个小技巧。

4.知识点：

4.1.RAG

RAG（Retrieval-Augmented Generation）是一种结合了检索技术和生成模型的技术，主要用于改进文本生成任务，如问答、对话系统等。RAG 的核心思想是在生成模型的基础上加入检索机制，以便从外部知识源中检索相关信息来辅助生成过程。这种方法可以显著提高生成内容的质量和准确性，尤其是在需要引用特定事实或细节的情况下。

RAG的工作原理主要包括1）检索阶段；2）融合阶段；3）生成阶段

想更多的了解RAG相关知识可以参考论文《Retrieval-Augmented Generation for Large Language Models: A Survey》。

4.2.llama_index库

llama_index 是一个用于构建和管理索引的库，特别适用于构建语言模型驱动的应用程序，如问答系统、文档检索系统和聊天机器人等。llama_index 提供了一套工具和接口，使得开发者可以轻松地从各种来源（如文档、数据库、API 等）提取信息，并将其转换成结构化索引，进而用于高效的信息检索和生成式任务。

主要特点：1）索引构建；2）语言模型集成；3）检索增强；4）灵活的架构；5）多模态支持

主要组件：1）索引构建器；2）语言模型接口；3）检索器；4）查询引擎

4.3.Python依赖包

einops 主要用于简化张量操作，非常适合深度学习领域，尤其是处理张量的形状和排列。
protobuf 是一种高效的结构化数据存储格式，常用于网络通信和数据交换。

4.4.`Sentence Transformers`模型

Sentence Transformers 是一个基于 Transformer 架构的开源库，专门用于处理自然语言处理中的句子级任务，如语义相似度计算、文本分类、聚类等。Sentence Transformers 的主要目标是生成高质量的句子嵌入（sentence embeddings），这些嵌入可以捕捉句子的语义含义，使得机器能够理解文本的深层意义。

特点：1）高质量的句子嵌入；2）多语言支持；3）易于使用；4）可定制性强

4.5.NLTK库介绍

NLTK (Natural Language Toolkit) 是一个广泛使用的 Python 库，用于处理自然语言数据。它是自然语言处理（NLP）领域中最受欢迎的工具之一，被广泛应用于学术研究、教育以及工业界的各种项目中。NLTK 提供了一系列用于文本处理的工具和资源，包括分词、词性标注、命名实体识别、语法分析等。

主要特点：1）丰富的数据集和语料库；2）广泛的文本处理工具；3）教育和研究用途；4）社区支持。

4.6.`LlamaIndex` 词嵌入向量

llama-index-embeddings-huggingface 是 LlamaIndex 生态系统中的一个组件，它专注于使用 Hugging Face 的词嵌入模型来生成文本的向量表示。

主要特点：1）Hugging Face模型支持；2）高效索引构建；3）灵活性

llama-index-embeddings-huggingface 主要用于生成词嵌入，并将这些词嵌入用于文档的向量化。

llama-index-embeddings-instructor 是 LlamaIndex 生态系统中的一个组件，专注于使用 Instruct Embeddings 生成文本的向量表示。Instruct Embeddings 是一种特殊的词嵌入技术，它的特点是经过训练来遵循人类指令，从而生成更符合人类意图的文本表示。

主要特点：1）Instruct Embeddings；2）高效索引构建；3）灵活性