大模型本地化部署1-Ollama安装(Windows)
- 1、下载Ollama安装包
- 2、安装Ollama
- 3、设置模型存放目录
- 4、查看Ollama支持的模型
- 5、模型安装
- 6、查看已安装的模型列表
- 7、运行一个模型
- 8、设置Ollama允许外放访问
1、下载Ollama安装包
Ollama官网地址
https://ollama.com/
进入下载页面,如下图:
下载后的安装包如下图:
2、安装Ollama
双击OllamaSetup.exe,进行安装。
注意,在windows下安装时,是不允许选择安装位置的,默认是安装在系统盘的。
安装完毕后,打开终端进行验证,在终端中输入ollama
ollama
如果看到以下信息则说明安装成功
3、设置模型存放目录
在windows,ollama安装的模型,默认存放目录为C:/Users//.ollama/models
3.1、可以通过以下命令更改模型安装时的存放目录
# 只设置当前用户(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models"
# 为所有用户设置(需要先创建D:\ollama_models目录)
setx OLLAMA_MODELS "D:\ollama_models" /M
执行如下图:
3.2、重启终端(setx命令在windows中设置环境变量时,这个变量的更改只会在新打开的命令提示符窗口或终端会话中生效。)
3、重启ollama服务。
4、查看Ollama支持的模型
可以通过以下网址查看Ollama支持的模型列表:
https://ollama.com/library
如下图:
点击某个模型连接,比如qwen2,可以看到模型详细的介绍,如下图:
5、模型安装
可以通过以下命令进行模型安装
ollama pull qwen2
安装过程如下图:
安装完毕时如下:
6、查看已安装的模型列表
通过以下命令查看已安装的模型列表
ollama list
执行结果如下:
7、运行一个模型
通过以下命令运行一个模型
ollama run qwen2
启动后如下图:
然后就可以对话了,如下图:
在终端中退出对话和模型的运行,需要输入:
/bye
8、设置Ollama允许外放访问
1、默认情况下,在通过ollama运行一个模型时,默认的服务地址和端口为127.0.0.1:11434,可以通过以下命令看到。
ollama run --help
2、要想允许外部程序访问Ollama,需要把服务侦听的地址改为0.0.0.0:11434,在Windows下可以通过设置系统环境变量的方式修改,如下:
3、环境变量设置完毕后,需要重启ollama服务才能生效,ollama服务在启动的时候会读取这个环境变量的值,按这个值进行侦听。
由于windows下安装的ollama不是一个标准的windows service,所以智能直接结束连个ollama进程(先结束ollama app.exe,否则无法正常结束ollama.exe),如下图:
启动ollama可以从windows开始菜单中找到ollama,点击启动,如下图:
运行后会自动启动与Ollama相关的两个进程。其实,开始菜单中的Ollama就时Ollama app.exe,相当于ollama的守护进程,会自动监控ollama.exe的运行情况,如果发现ollama.exe结束后,会自动启动ollama.exe。
4、需要关闭终端重新启动终端,在新的终端中再运行模型。
ollama run qwen2
5、再新开一个终端,查看侦听的地址和端口
netstat -an
如下图:
则说明正确配置允许外部访问了。