1、环境
1.1、Ollama
1.2、Windows Server 2019
1.3、qwen:4b
1.4、nginx-1.27.0
2、部署后效果如下。
3、环境安装包下载链接包含本文所有的配置内容。
https://download.csdn.net/download/xingchengaiwei/89571623
4、安装ollama,官网下载地址Download Ollama on macOS 我的下载链接里也有。安装过程如下。
安装完成后在命令行中输入 ollama 显示内容如下图
在命令行中输入,ollama run qwen:4b
执行过程如下图
添加系统变量
变量名为:OLLAMA_MODELS
变量值:C:\Ollama
其中C:\Ollama是你安装Ollama的位置。
设置好系统变量后需要重启电脑。
在命令提示符中输入
set OLLAMA_HOST=0.0.0.0:11434
在命令提示符中输入
omllama serve
启动服务,如下图
5、在我的下载文件中的“nginx-1.27.0”文件夹,修改下列文件
路径nginx-1.27.0\html\saddle文件夹下的“Saddle.js”文件。nginx-1.27.0\conf\文件夹下的“nginx.conf”文件。将文件中“你的IP”替换为你Windows Server 服务器的IP地址即可。
6、千万别忘记运行一下nginx-1.27.0文件中的nginx.exe,然后在网页中访问地址。