LMDeploy 量化部署进阶实践
- 【书生大模型实战营】LMDeploy 量化部署进阶实践
- 任务
- 环境
- 将大模型封装为API接口服务
- 以命令行形式连接API服务器
- 以Gradio网页形式连接API服务器
- LMDeploy Lite和InternLM
- kv cache
- W4A16 模型量化和部署
- W4A16 量化+ KV cache+KV cache 量化
- LMDeploy与InternVL2
- LMDeploy之FastAPI与Function call
- API开发
- Function call
- 任务记录
【书生大模型实战营】LMDeploy 量化部署进阶实践
任务
- 使用结合W4A16量化与kv cache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4.1 API开发(优秀学员必做)
- 使用Function call功能让大模型完成一次简单的"加"与"乘"函数调用，作业截图需包括大模型回复的工具调用情况，参考4.2 Function call(选做)
环境
说明：对于一个7B（70亿）参数的模型，每个参数使用16位浮点数（等于 2个 Byte）表示，则模型的权重大小约为：
70×10^9 parameters×2 Bytes/parameter=14GB
70亿个参数×每个参数占用2个字节=14GB
使用上一节创建好的agent环境，然后安装一些依赖：
conda activate agent_camp3
pip install timm==1.0.8 openai==1.40.3 lmdeploy[all]==0.5.3
然后设置要用到模型文件的软链接：
ln -s /root/share/new_models//Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/model
ln -s /root/share/new_models/OpenGVLab/InternVL2-26B /root/model
然后对InternLM2_5-7b-chat进行部署验证：
lmdeploy chat /root/model/internlm2_5-7b-chat
结果如下：
此时显存占用是接近23G：
将大模型封装为API接口服务
以InternLM2.5为例，在vscode命令行运行如下命令：
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat \
--model-format hf \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
其中：
quant-policy：这个参数指定了量化策略。tp：这个参数表示并行数量（GPU数量）。model-format：这个参数指定了模型的格式。hf代表“Hugging Face”格式。
得到如下界面，是一个FastAPI请求格式的命令说明：
以命令行形式连接API服务器
新建一个命令行窗口，运行：
lmdeploy serve api_client http://localhost:23333
得到如下结果：
上面API界面回应如下：
此时调用了/v1/chat/interactive这个接口。
以Gradio网页形式连接API服务器
退出上面创建的命令行终端，输入以下命令，使用Gradio作为前端，启动网页：
lmdeploy serve gradio http://localhost:23333 \
--server-name 0.0.0.0 \
--server-port 6006
结果如下：
LMDeploy Lite和InternLM
kv cache
在使用lmdeploy chat /root/models/internlm2_5-7b-chat，引入cache-max-entry-count变量设置，控制kv缓存占用剩余显存的最大比例，默认值为0.8，如：
lmdeploy chat /root/model/internlm2_5-7b-chat --cache-max-entry-count 0.4
这个命令是在命令行和模型进行交互的，此时显存占用只有19G，跟0.8相比减少了4G。
在线 kv cache int4/int8 量化：创建API服务时使用KV cache nt4/int8 量化，就是将kv cache的存储类型用int4或者int8代替。通过设定 quant_policy 和cache-max-entry-count参数：
quant_policy：qant_policy=4 表示 kv int4 量化，quant_policy=8 表示 kv int8 量化cache-max-entry-count：kv cache比例
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat \
--model-format hf \
--quant-policy 4 \
--cache-max-entry-count 0.4\
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
这个命令是通过接口的方式和大模型进行交互的。相比使用BF16精度的kv cache，int4的Cache可以在相同4GB的显存下只需要4位来存储一个数值，而BF16需要16位。这意味着int4的Cache可以存储的元素数量是BF16的四倍。
此时占用的显存为：
W4A16 模型量化和部署
模型量化是一种优化技术，旨在减少机器学习模型的大小并提高其推理速度。量化通过将模型的权重和激活从高精度（如16位浮点数）转换为低精度（如8位整数、4位整数、甚至二值网络）来实现。
W4A16的量化配置意味着：
- 权重被量化为4位整数。
- 激活保持为16位浮点数。
使用如下命令执行量化：
lmdeploy lite auto_awq \
/root/model/internlm2_5-7b-chat \
--calib-dataset 'ptb' \
--calib-samples 128 \
--calib-seqlen 2048 \
--w-bits 4 \
--w-group-size 128 \
--batch-size 1 \
--search-scale False \
--work-dir /root/model/internlm2_5-7b-chat-w4a16-4bit
相关参数解释如下：
lmdeploy lite auto_awq：启动量化，auto_awq代表自动权重量化（auto-weight-quantization）calib-dataset 'ptb': 这个参数指定了一个校准数据集w-bits 4: 这表示权重（weights）的位数将被量化为4位。work-dir: 这是工作目录的路径，用于存储量化后的模型和中间结果。
如果出现错误The repository for ptb_text_only contains custom code which must be executed to correctly load the dataset.，添加如下指令：
export HF_ENDPOINT=https://hf-mirror.com
W4A16 量化+ KV cache+KV cache 量化
使用如下命令，将这些方案全部使用（时间比较长，大概5个多小时）：
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat-w4a16-4bit/ \
--model-format awq \
--quant-policy 4 \
--cache-max-entry-count 0.4\
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
注意这里使用的模型是W4A16量化后的模型，同时model-format参数也变成了awq，不是hf了。
最终得到的模型大小为：
只有4.9G了，而原始模型的大小有15G。
然后使用如下命令运行模型：
lmdeploy chat /root/model/internlm2_5-7b-chat-w4a16-4bit/ --model-format awq
LMDeploy与InternVL2
进行InternVL2的W4A16量化（大概10个小时），代码为：
lmdeploy lite auto_awq \
/root/model/InternVL2-26B \
--calib-dataset 'ptb' \
--calib-samples 128 \
--calib-seqlen 2048 \
--w-bits 4 \
--w-group-size 128 \
--batch-size 1 \
--search-scale False \
--work-dir /root/model/InternVL2-26B-w4a16-4bit
然后使用如下命令启用API服务：
lmdeploy serve api_server \
/root/model/InternVL2-26B-w4a16-4bit \
--model-format awq \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
不过这个30%的跑不起来，显存会爆，需要使用50%的。
LMDeploy之FastAPI与Function call
API开发
先启动API服务：
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat-w4a16-4bit \
--model-format awq \
--cache-max-entry-count 0.4 \
--quant-policy 4 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
然后创建internlm2_5.py文件，将如下内容粘贴：
# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI
# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
api_key='YOUR_API_KEY',
# 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
base_url="http://0.0.0.0:23333/v1"
# 指定API的基础URL，这里使用了本地地址和端口
)
# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id
# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
model=model_name,
# 指定要使用的模型ID
messages=[
# 定义消息列表，列表中的每个字典代表一个消息
{"role": "system", "content": "你是一个友好的小助手，负责解决问题."},
# 系统消息，定义助手的行为
{"role": "user", "content": "帮我讲述一个关于狐狸和西瓜的小故事"},
# 用户消息，询问时间管理的建议
],
temperature=0.8,
# 控制生成文本的随机性，值越高生成的文本越随机
top_p=0.8
# 控制生成文本的多样性，值越高生成的文本越多样
)
# 打印出API的响应结果
print(response.choices[0].message.content)
然后新建一个命令行窗口，运行python internlm2_5.py，得到如下结果：
API服务开启界面的反应：
Function call
启动没有量化的模型（使用量化的后面调用函数会报错 'NoneType' object is not subscriptable）：
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat \
--model-format hf \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
抱持API服务的窗口不变，继续创建internlm2_5_func.py文件，内容如下：
from openai import OpenAI
def add(a: int, b: int):
return a + b
def mul(a: int, b: int):
return a * b
tools = [{
'type': 'function',
'function': {
'name': 'add',
'description': 'Compute the sum of two numbers',
'parameters': {
'type': 'object',
'properties': {
'a': {
'type': 'int',
'description': 'A number',
},
'b': {
'type': 'int',
'description': 'A number',
},
},
'required': ['a', 'b'],
},
}
}, {
'type': 'function',
'function': {
'name': 'mul',
'description': 'Calculate the product of two numbers',
'parameters': {
'type': 'object',
'properties': {
'a': {
'type': 'int',
'description': 'A number',
},
'b': {
'type': 'int',
'description': 'A number',
},
},
'required': ['a', 'b'],
},
}
}]
messages = [{'role': 'user', 'content': 'Compute (3+5)*2'}]
client = OpenAI(api_key='YOUR_API_KEY', base_url='http://0.0.0.0:23333/v1')
model_name = client.models.list().data[0].id
response = client.chat.completions.create(
model=model_name,
messages=messages,
temperature=0.8,
top_p=0.8,
stream=False,
tools=tools)
print(response)
func1_name = response.choices[0].message.tool_calls[0].function.name
func1_args = response.choices[0].message.tool_calls[0].function.arguments
func1_out = eval(f'{func1_name}(**{func1_args})')
print(func1_out)
messages.append({
'role': 'assistant',
'content': response.choices[0].message.content
})
messages.append({
'role': 'environment',
'content': f'3+5={func1_out}',
'name': 'plugin'
})
response = client.chat.completions.create(
model=model_name,
messages=messages,
temperature=0.8,
top_p=0.8,
stream=False,
tools=tools)
print(response)
func2_name = response.choices[0].message.tool_calls[0].function.name
func2_args = response.choices[0].message.tool_calls[0].function.arguments
func2_out = eval(f'{func2_name}(**{func2_args})')
print(func2_out)
得到的结果如下：
这种工具感觉会根据函数自动对指令进行分析，将(3+5)2分成了(3+5)和82。
任务记录
使用如下命令开启量化后模型的API服务：
lmdeploy serve api_server \
/root/model/internlm2_5-7b-chat-w4a16-4bit/ \
--model-format awq \
--quant-policy 4 \
--cache-max-entry-count 0.4\
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
然后在命令行指定接口和大模型进行交流：
lmdeploy serve api_client http://localhost:23333
此时大模型的回复和显存占用为：
然后我们尝试在文件里面和量化后的模型进行交流，创建internlm2_5_awq.py文件，内容为：
# 导入openai模块中的OpenAI类，这个类用于与OpenAI API进行交互
from openai import OpenAI
# 创建一个OpenAI的客户端实例，需要传入API密钥和API的基础URL
client = OpenAI(
api_key='YOUR_API_KEY',
# 替换为你的OpenAI API密钥，由于我们使用的本地API，无需密钥，任意填写即可
base_url="http://0.0.0.0:23333/v1"
# 指定API的基础URL，这里使用了本地地址和端口
)
# 调用client.models.list()方法获取所有可用的模型，并选择第一个模型的ID
# models.list()返回一个模型列表，每个模型都有一个id属性
model_name = client.models.list().data[0].id
# 使用client.chat.completions.create()方法创建一个聊天补全请求
# 这个方法需要传入多个参数来指定请求的细节
response = client.chat.completions.create(
model=model_name,
# 指定要使用的模型ID
messages=[
# 定义消息列表，列表中的每个字典代表一个消息
{"role": "system", "content": "你是一个友好的小助手，负责解决问题."},
# 系统消息，定义助手的行为
{"role": "user", "content": "李白是谁"},
# 用户消息，询问时间管理的建议
],
temperature=0.8,
# 控制生成文本的随机性，值越高生成的文本越随机
top_p=0.8
# 控制生成文本的多样性，值越高生成的文本越多样
)
# 打印出API的响应结果
print(response.choices[0].message.content)
然后运行，得到的结果如下：
最后实现function call功能。直接套用之前的代码会报错，应该是量化过后模型的理解能力下降了，查看输出的response可以出现了解析错误：
这个时候我们尝试更改temperature和top_p，这两个参数的意义为：
- temperature：这个值越大生成内容越随机，多样性更好，但可能会牺牲一些准确性或连贯性。具体地，temperature 会调整概率输出的softmax概率分布，如果 temperature 的值为1，则没有任何调整；如果其值比1大，则会生成更加随机的文本；如果其值比1小，则生成的文本更加保守。
- top_p：单步累计采用阈值，越大越多token会被考虑。如果累计概率已经超过0.95，剩下的token不会被考虑例如有下面的token及其概率，a:0.9,b:0.03,c:0.03,d:0.015,e… 。则只会采用用abc，因为已经是0.96超过了0.95
修改temperature=1.9，top_p=0.9，得到的结果为（尝试了多次，因为结果随机）：
但它没有使用tool_calls，调整参数也不行。
不知道咋解决了，暂时放在这里吧，感觉还是它理解能力下降了，导致模型无法解析。
