创建conda环境
conda create lmdeploy
conda activate lmdeploy
安装依赖包(注：下对应的版本要不然容易报错)
pip install pytorch==2.1.2
pip install lmdeploy[all]==0.3.0
下载模型
通过Git协议下载模型。首先安装git-lfs组件 此处使用的root权限
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash apt update apt install git-lfs git lfs install --system
安装好git-lfs组件后，由OpenXLab平台下载InternLM2-Chat-1.8B模型：
git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git
把模型放到对应的路径下如
mv /root/internlm2-chat-1.8b /root/internlm2-chat-1_8b
使用LMDeploy与模型对话
执行如下命令运行下载的1.8B模型
lmdeploy chat /root/internlm2-chat-1_8b
就可以与InternLM2-Chat-1.8B大模型对话了。比如输入“请给我讲一个小故事吧”，然后按两下回车键
也可以启动API服务器
lmdeploy serve api_server \
/root/internlm2-chat-1_8b \
--model-format hf \
--quant-policy 0 \
--server-name 0.0.0.0 \
--server-port 23333 \
--tp 1
其中，model-format、quant-policy这些参数是与第三章中量化推理模型一致的；server-name和server-port表示API服务器的服务IP与服务端口；tp参数表示并行数量（GPU数量）。
启动客户端调用
lmdeploy serve api_client http://localhost:23333
网页客户端连接API服务器
lmdeploy serve gradio http://localhost:23333 \
--server-name 0.0.0.0 \
--server-port 6006
打开浏览器，访问地址http://127.0.0.1:6006
