文章目录
- 前言
- 一、Ollama是什么？
- 二、使用步骤
- 1.安装 Ollama
- Windows
- 检验是否安装成功
- 2.运行
- ollama 模型库
- 运行模型
- 提问
- 修改配置（可选）如果有个性化需求，需要修改默认配置：
- 参考
前言
Ollama是一个易于使用的本地大模型运行框架，支持Mac、Windows和WSL2环境。文章介绍了如何在Widows上安装Ollama。
一、Ollama是什么？
Ollama 是一个简明易用的本地大模型运行框架，目前已经有 32 K star。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了，使用 Ollama 本地部署大模型在 mac 上尤其简单
GitHub地址：https://github.com/ollama/ollama
- 能直接运行大模型，与大模型进行对话。
- ollama 命令具有管理大模型的能力。
- 利用 cpu 运行大模型。
- 本地大模型安全可靠。
- 终端直接开始聊天。
- 社区提供了支持 web api 方式访问 WebUI。
二、使用步骤
1.安装 Ollama
Windows
Download
检验是否安装成功
输入 Ollama 命令，正常的得出命令行输出，表示已经安装成功，下面有 ollama 的常用命令：
ollama
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
pull Pull a model from a registry
push Push a model to a registry
list List models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
2.运行
ollama 模型库
我们可以在 ollama.com/library中搜索已有我们想要的模型库。以下是一些流行的模型：
| 模型 | 参数 | 尺寸 | 执行下载 |
|---|---|---|---|
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| gemma2 | 9B | 5.4GB | ollama run gemma2 |
| qwen2 | 7B | 4.4GB | ollama run qwen2 |
运行模型
ollama run qwen2
直接使用 run 命令 + 模型名字就可以运行模型。如果之前没有下载过，那么会自动下载。下载完毕之后可以在终端中直接进行对话 qwen2 模型了。
提问
修改配置（可选）如果有个性化需求，需要修改默认配置：
配置文件在：
/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim
1.默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP
[Service] Environment="OLLAMA_HOST=0.0.0.0"
2.如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：
[Service] Environment="OLLAMA_MODELS=/data/ollama/models"
3.不同操作系统，模型默认存放在：
macOS: ~/.ollama/models Linux: /usr/share/ollama/.ollama/models Windows: C:\Users\xxx\.ollama\models
4.如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。
Environment="CUDA_VISIBLE_DEVICES=0,1"
5.配置修改后，需要重启 ollama
systemctl daemon-reload systemctl restart ollama
注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。
参考
使用Ollama本地部署大模型
