看到很多文章采用docker在windows环境安装python或者是linux环境再装webui的,感觉比较麻烦,不够简洁,本文采用nodejs,来作为客户端引擎。
这篇只讲客户端安装,需要安装后端大模型及其运行的可以参考第一篇:
保姆级离线+windows环境+私有化部署大模型(一)-CSDN博客
Node.js 是一个开源的、跨平台的 JavaScript 运行时环境,允许开发者在服务器端运行 JavaScript 代码。它基于 Chrome 的 V8 JavaScript 引擎构建
一、安装思路
Ollama-webUI可以直接在有网环境下安装,把相关的依赖文件下载完成,复制安装好以后的WebUI文件目录到内网环境。
二、安装步骤
1、Node.js下载安装
进入Node官网下载Node,https://nodejs.org
一步一步安装即可,安装完成以后,验证是否安装成功,可在windws命令窗口win+r,cmd,打开的页面,验证node的版本:
node -v
v20以上就没问题
2、下载ollama-webui代码
默认ollama安装后,对话只有黑色命令界面,交互体验较差。借助open-webui可以通过web界面连接ollama,从而实现类似chatGPT式的web交互体验。
下载地址:github.com
从github下载zip文件夹。解压到本地,如D:\ollama-webui-lite-main
windows+R输入cmd,进入dos命令界面
cd D:\ollama-webui-lite-main
进入ollama-webui文件夹,在此文件夹下进行以下所有的命令。首先,设置国内镜像源提速:
npm config set registry http://mirrors.cloud.tencent.com/npm/
3.安装Node.js依赖:
npm ci
npm install
如果报错说要audit,则依次进行即可:
npm audit
npm audit fix
4.启动webUI
启动Web界面:
npm run dev
打开Web页面,选择你的模型即可开始对话。
三、拷贝整个D盘的WebUI到内网环境
D:\ollama-webui-lite-main
在内网环境,cd到WebUI的文件夹,这文件夹下,直接启动
npm run dev