Ollama导入大模型
- 一、导入Ollama大模型
- 1、使用run命令
- 2、使用Modelfile方式
- 二、导入自定义大模型（Ollama官网以外的大模型）
- 三、使用OpenWebUI导入大模型
Ollama可以导入官方提供的大模型，也可以导入huggingface上的自定义大模型（国内镜像https://hf-mirror.com/）。
一、导入Ollama大模型
可以上Ollama官网搜索想要导入的大模型（https://ollama.com/library）
1、使用run命令
然后使用命令导入
ollama run llama3
或者
ollama run phi3
等待下载完成，即可。
2、使用Modelfile方式
使用ollama的pull命令，拉取大模型到本地
ollama pull phi3
然后创建一个后缀为phi3.Modelfile的文件，文件内容如下：
FROM phi3
# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
创建好文件后，使用ollama的create命令导入。
ollama create phi3 -f ./phi3.Modelfile
ollama run phi3
二、导入自定义大模型（Ollama官网以外的大模型）
导入自定义gguf（Safetensors大模型为测试成功，待后续测试）大模型，需要使用Modelfile方式导入。
例如需要导入llava大模型：
1、在huggingface国内镜像上搜索到大模型
然后在模型文件后面的下载图标上，点击右键，点击“复制链接地址”。
然后将大模型文件下载到ollama服务器上。
下载命令：
curl https://hf-mirror.com/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf?download=true
下载完成后，创建llava.Modelfile文件，文件内容：
FROM /home/llava-llama-3-8b-v1_1-f16.gguf
TEMPLATE """[INST] <>{{ .System }}<>
{{ .Prompt }} [/INST]
"""
# 设定温度参数为1 [更高的更具有创新性，更低的更富有连贯性]
PARAMETER temperature 1.0
PARAMETER top_k 100
PARAMETER top_p 1.0
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
你是可以与梵高相比的绘画大师
"""
创建好文件后，使用ollama的create命令导入。
ollama create llava -f ./llava.Modelfile
ollama run llava
三、使用OpenWebUI导入大模型
前提已经在OpenWebUI中配置好了Ollama。
在OpenWebUI中点击 工作空间 》创建模型文件 然后填入相应的内容。
“内容” 和上一个方法中Modelfile文件中的内容一样。然后点击“保存并创建”，等待下载完成，即可使用。
