前言
本文介绍一个可以快速搭建本地大语言模型的聊天服务，模型和代码已全部提供，不需要联网运行。项目使用的是Qwen-7B-Int4模型，只需要8G显存的显卡都能流畅运行，无论是Windows还是Linux系统都支持使用。
安装环境
- 安装GPU版本的Pytorch。
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
- 安装其他依赖库。
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
启动服务
- 执行
server.py程序，启动大语言模型服务。
python server.py
Android应用
使用Android Studio打开源码中的AndroidClient目录，这是一个Android应用源码，打开之后首先就要修改服务t地址CHAT_HOST，将它修改为你上面使用的服务器IP地址，点击运行安装到Android手机上。
应用效果图：
扫码入知识星球，搜索【基于大语言模型的聊天应用】获取源码
