M1部署Ollama

Ollama中文网站: Featured - 精选 - Ollama中文网

下载网址: Download Ollama on macOS

安装后运行llma3模型:

ollama run llama3:8b

界面使用:

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

部署open-webui:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问http://localhost:3000/端口即可访问本地的大模型

下载开源模型支持中文和function calling

下载

https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit

官网下载的模型虽然能理解中文, 但是对中文的支持还是比较弱. 需要在hugging face下载中文训练后的模型: Llama3-8B-Chinese-Chat-v2.1

该模型还支持了官方llama3:8b不支持的function calling 调用

ollama下使用自己下载的模型

# 与模型文件相同路径下编辑文件
vim config.txt

输入内容:

FROM "/Users/louye/Downloads/tmp/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf"

TEMPLATE """{{- if .System }}
<|im_start|>system {{ .System }}<|im_end|>
{{- end }}
<|im_start|>user
{{ .Prompt }}<|im_end|>
<|im_start|>assistant
"""

SYSTEM """"""

PARAMETER stop <|im_start|>
PARAMETER stop <|im_end|>

# 保存文件并退出
wq!

使用命令导入模型:

ollama create llama3-cn -f ./config.txt

查看模型是否存在

ollama list

最后open-webui界面就能看到, 测试一下中文: