前言
Text generation web UI可为类ChatGPT的大型语言模型提供能够快速上手的网页界面,不仅可以提高使用效率,还可满足私有化部署,或对模型进行自定义。目前,该Web UI已经支持了许多流行的语言模型,包括LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等.
而且,Text generation web UI部署非常简便,不仅在github主页上直接提供了一键部署安装包,同时由于是web UI形式,直接通过浏览器即可操作,不过本地化部署,无法远程访问,这里我们结合cpolar内网穿透工具实现从安装到最后实现远程访问。
系统环境
Windows 10
Python 3.11.4
1. 安装Text generation web UI
在github界面下载压缩包,这里以windows系统为例:
https://github.com/oobabooga/text-generation-webui
使用windows系统,我们下载windows压缩包:
下载后,这里注意:存放目录的路径不能有空格,然后点击start_windows.bat启动安装。
在安装过程中会提示选择显卡类型,根据电脑配置正常选择即可,然后等待下载,下载大小2个GB左右大小资源。
2.安装依赖
上面安装后会出现两个文件夹,可以看到其中一个是text-generation-webui
名称文件夹,我们点击cmd_windows.bat打开cmd命令行。
打开后,进入text-generation-webui文件夹:
cd text-generation-webui
Bash
Copy
执行下载依赖命令,注意!!!这里需要kx上网,否则下载依赖会发生错误,包括后面也一直需要保持kx上网哦!!!
pip install -r requirements.txt
Bash
Copy
执行后等待下载完成即可
3. 安装语言模型
同意点击cmd_windows.bat打开cmd命令行,进入
输入命令进入text-generation-webui文件夹
cd text-generation-webui
Bash
Copy
安装facebook语言模型,其他语言模型可以查看GitHub文档上面找到:
python download-model.py facebook/opt-1.3b
Bash
Copy
输入后等待下载安装完成即可,为了防止出现下载失败,建议开启kx上网!
4. 启动
点击start_windows.bat启动
启动后,可以看到访问的地址和端口,端口是:7860
在浏览器输入上述URL,即可看到web ui 界面:
设置一下语言模型,点击Model,在下拉框可以看到我们上面下载安装的facebook模型,选择后点击Load,然后保存设置。
然后输入即可对话,这样就搭建好了,可玩度很高,且可以扩展其他语言模型!
5. 安装cpolar 内网穿透
cpolar内网穿透工具,永久免费且不限制流量,支持http/https/tcp协议,无需公网IP,也不用设置路由器,使用简单。
cpolar官网:https://www.cpolar.com/
访问cpolar官网,注册一个账号,然后下载并安装客户端,具体安装教程可以参考官网文档教程。
- windows系统:在官网下载安装包后,双击安装包一路默认安装即可。
- linux系统:支持一键自动安装脚本,详细请参考官网文档——入门指南
cpolar安装成功后,在浏览器上访问本地9200端口【http://localhost:9200】,使用cpolar账号登录。
6. 创建公网地址
点击左侧仪表盘的隧道管理——创建隧道,创建一个我们上面的text generation webui 的http访问方式的7860隧道
- 隧道名称:可自定义命名,注意不要与已有的隧道名称重复
- 协议:选择http
- 本地地址:7860
- 域名类型:免费选择随机域名
- 地区:选择China vip
点击创建
隧道创建成功后,点击左侧的状态——在线隧道列表,查看所生成的公网地址,有两种访问方式,一种是http 和https
7. 公网访问
我们使用http公网地址访问,可以看到,我们访问到了text generation webui
界面,这样一个公网地址访问就创建好了。
8. 固定公网地址
由于以上使用cpolar所创建的隧道使用的是随机公网地址,24小时内会随机变化,不利于长期远程访问。因此我们可以为其配置二级子域名,该地址为固定地址,不会随机变化【ps:cpolar.cn已备案】
注意需要将cpolar套餐升级至基础套餐或以上,且每个套餐对应的带宽不一样。【cpolar.cn已备案】
登录cpolar官网,点击左侧的预留,选择保留二级子域名,地区选择china vip top,然后设置一个二级子域名名称,填写备注信息,点击保留。
保留成功后复制保留的二级子域名地址:
登录cpolar web UI管理界面,点击左侧仪表盘的隧道管理——隧道列表,找到所要配置的隧道,点击右侧的编辑
。
修改隧道信息,将保留成功的二级子域名配置到隧道中
- 域名类型:选择二级子域名
- Sub Domain:填写保留成功的二级子域名
- 地区: China VIP
点击更新
更新完成后,打开在线隧道列表,此时可以看到随机的公网地址已经发生变化,地址名称也变成了保留和固定的二级子域名名称。
最后,我们使用固定的公网地址访问text generation webui
界面可以看到访问成功,一个永久不会变化的远程访问方式即设置好了。