原文:【教程】本地化部署支持多语言模型支持上传分析文档附件的GPT_腾讯新闻
说明
该项目要是为 ChatGPT API 和其他多种语言模型(Language Language Models,简称 LLM)提供一个用户友好的 Web 图形界面(GUI)。这个项目的 GUI 支持流式传输、无限对话、保存对话、预设 Prompt 集、联网搜索、根据文件回答、渲染 LaTeX、渲染表格、代码高亮、自动亮暗色切换、自适应界面等功能。此外,它还支持自定义 API Host、多参数可调、多 API Key 均衡负载、多用户显示、适配 GPT-4,以及支持本地部署语言模型。在该项目中,可以通过 API 调用以下语言模型:ChatGPT (包括 GPT-4)、Inspur Yuan 1.0、MiniMax、XMChat。同时,它也支持本地部署的语言模型,如 ChatGLM 和 LLaMA 更重要的是它可以支持上传文档附件进行文档分析,本教程将教大家如何本地化部署这个项目
教程
通过docker 部署,docker 的安装方式请参考这个文档
https://doc.weixin.qq.com/doc/w3_ASAAUAZmAAciDAAidcsSfafy4JI9p?scode=ALAA0wclABQg9sHWKHASAAUAZmAAc
然后部署项目,在搜索栏搜索cmd,打开命令行
输入如下命令,即可
docker run -p 8080:7860 -d --restart=always tuchuanhuhuhu/chuanhuchatgpt
然后我们进行访问,打开你的docker 点击containers 端口号,即可访问
进入访问界面之后默认是openai gpt-3.5-trubo 模型,填入你的openai api key,api key 的获取方法已经烂大街了,自行搜索即可,如果选其他语言模型也需要填写相应的key
然后我们来玩一下文档分析功能,先来个pdf,点这里上传
然后在左侧对话框发送分析指令
这里还内置了一些提示词
需要把提示词复制粘贴到对话框
我们可以把生成得对话保存
也可以导出为Markdown 格式