Ollama 部署本地大语言模型

news2025/2/10 20:48:39

一、下载安装ollama

1.百度 ollama

Ollama

2.点击下载

可以复制下载链接，使用下载器下载。

3.双击安装

默认安装目录：C:\Users\用户名\AppData\Local\Programs\Ollama

二、更改模型下载目录

0.默认下载目录 (跳过)

之前没下载过模型，不涉及转移模型，可以跳过此步骤

C:\Users\用户名\.ollama\models\

如果之前下载过了，可将默认目录里的

复制到更改后的目录里

1.打开系统属性

右键点击桌面上的“此电脑”或“计算机”图标，选择“属性”。

2.进入高级系统设置

在系统属性窗口中，点击左侧的“高级系统设置”按钮。

3.编辑环境变量

4.新建环境变量

在“环境变量”窗口中，找到“系统变量”部分，点击“新建”按钮。

输入变量名为OLLAMA_MODELS。

在“变量值”文本框中输入希望保存模型文件的新目录路径，例如D:\OllamaModels。

5.保存并重启Ollama

点击“确定”按钮保存设置。

重启Ollama应用，以使新的环境变量生效。

为了保证生效，可以重启电脑。

三、常用命令

1.win+R键--->cmd

输入 ollama

这是Ollama命令行工具的帮助信息，它列出了所有可用的命令和标志，以及如何使用它们。以下是对这些命令和标志的详细解释：

命令

serve
- 描述：启动Ollama服务，使其能够处理模型运行和API请求。
- 用法：ollama serve
create
- 描述：使用包含模型信息的Modelfile来创建一个新模型。
- 用法：ollama create /path/to/Modelfile
show
- 描述：显示特定模型的详细信息，如模型名称、版本等。
- 用法：ollama show [模型名称]
run
- 描述：运行一个已安装的模型，执行某些任务。
- 用法：ollama run [模型名称]
stop
- 描述：停止一个正在运行的模型。
- 用法：ollama stop [模型名称]
pull
- 描述：从模型注册表中拉取一个模型到本地使用。
- 用法：ollama pull [模型名称]
push
- 描述：将本地模型推送到模型注册表中，以便他人或其他系统使用。
- 用法：ollama push [模型名称]
list
- 描述：列出本地所有可用的模型。
- 用法：ollama list 或 ollama ls
ps
- 描述：列出当前正在运行的模型。
- 用法：ollama ps
cp
- 描述：复制一个模型到另一个位置或给定名称的地方。
- 用法：ollama cp [原模型名称] [新模型名称]
rm
- 描述：删除一个已安装的模型。
- 用法：ollama rm [模型名称]
help
- 描述：获取有关Ollama任何命令的帮助信息。
- 用法：ollama help [命令名称] 或 ollama --help

标志

-h, --help
- 描述：显示帮助信息，包括所有可用命令和标志。
- 用法：在任何命令后添加 -h 或 --help 以获取该命令的详细帮助信息。
-v, --version
- 描述：显示Ollama工具的版本信息。
- 用法：ollama -v 或 ollama --version

注意： create命令，可以基于某个模型创建指定角色的模型。

具体用法可以搜索：

ollama create怎么用？

ollama

四、下载模型

1.搜索模型

2.下载模型

（模型越大功能越强，但是所需要的电脑硬件设备越高，根据个人情况自行选择）

命令粘贴的到命令窗口(win+R键--->cmd)

ollama run deepseek-r1:7b

下载慢怎么办？

第一步

点击选中终端窗口，然后点击 ctr+c 暂停下载。

第二步

重新粘贴命令，等待重新链接即可。

注意事项：

有小概率出现从头开始下载的可能性，目前题主暂未出现此情况。

五、测试

run命令运行存在的模型就是打开，不存在的模型，就是先下载再打开。

可直接在此窗口进行对话

六、基于已有模型，创造模型

github有教程，ollama github页面搜索 Create a Modelfile 定位到指定位置。

在Ollama中，你还可以自定义模型的启动提示词来调整其行为。例如，要自定义 deepseek模型，你首先需要拉取(下载)该模型：(上面操作已经下载过了，跳过)

ollama pull deepseek-r1:7b

创建一个Modelfile，在其中设置参数和系统消息：

FROM deepseek-r1:7b

# 设置创造力参数，1表示更高的创造性，较低则表示更加连贯
PARAMETER temperature 1

# 设置系统消息
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

创建并运行自定义模型：

ollama create custom-model-name -f F:\路径\Modelfile
ollama run custom-model-name

七、安装web UI

1.搜索 page Assist github

2.解压

3.Chrome浏览器加载插件

4.Ctrl+Shift+L 打开

5.设置中文

6.RAG设置

Ollama 下载模型

ollama pull nomic-embed-text

刷新当前页面

可以设置联网或上传图片等。

八、Ollama手动导入GGUF模型文件

1.下载模型文件

进入该网站https://huggingface.co/

(其他平台)

点击模型

直接搜索模型关键词，以QWen2.5 GGUF为例

可以复制下载链接，到下载器下载

2.创建一个`Modelfile`

在其中设置参数和系统消息：

# 指定本地模型的位置
FROM F:\ollama\QWen_GGUF\Qwen2.5-1.5B-Instruct.Q5_K_S.gguf
 
# 指定模型参数
PARAMETER temperature 0.7
 
# 设置系统消息，定义助手行为
SYSTEM """
You are a helpful assistant.
"""

3.执行以下命令

ollama create QWen_2.5_gguf -f F:\ollama\QWen_GGUF\qw_Modelfile
ollama run custom-model-name

4.注意

page Assist使用时，从新配置设置一遍，否则可能出现不智能的情况

九、使用API方式远程调用ollama模型

1.设置环境变量(参考第二步)

OLLAMA_HOST="0.0.0.0:11434"

2.命令

ollama serve

3.配置防火墙（可选）

如果希望从外部网络访问 Ollama server，需要在 Windows 防火墙中开放 Ollama 使用的端口（默认是 11434）。
打开“控制面板” -> “系统和安全” -> “Windows Defender 防火墙”，点击“高级设置”，在“入站规则”中创建一条新的规则，允许 TCP 端口 11434 的入站连接。