目录
什么是Ollama
Ollama安装
对话界面可视化?Open-WebUI!
安装Open-WebUI
什么是Ollama
Ollama是一个为简化大语言模型本地部署与交互的开源框架。它提供了用户友好的接口,帮助开发者和模型爱好者在没有依赖外部API的基础上高效地运行、管理和定制大语言模型。
Ollama支持各种各样的开源大模型,包括但不限于:
Llama系列、Mistral系列、Qwen系列、Gemma系列等,可以在官方Library浏览支持的模型:
libraryGet up and running with large language models.https://ollama.com/library
注意:请保证至少有8GB RAM来运行7B模型,16GB来运行13B模型,33B模型则至少需要32GB RAM。
Ollama安装
进入Ollama官网点击下载:Ollama
根据安装程序安装完成后,在命令行输入如下指令:
ollama run llama3.2
运行指令后,将会自动下载并安装本地运行的Llama3.2模型
下载完成后即可对话。
若想结束对话:
/bye
若想删除以下载的模型,运行如下命令:
ollama rm <model_name>
后续想要再运行模型,需要记得启动Ollama哦~
对话界面可视化?Open-WebUI!
Open WebUI是一个功能丰富、可扩展且用户友好的大模型运行WebUI。它支持包括Ollama和OpenAI compatible APIs。
安装Open-WebUI
首先,Open-WebUI需要Docker环境:安装Docker DeskTop
Docker Desktop: The #1 Containerization Tool for Developers | Docker
Docker运行后,如果Ollama部署在本地,在命令行使用下述命令即可运行:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这个命令将8080端口映射至3000,只需要在浏览器中输入:http://localhost:3000 即可访问。
(open-webui启动需要一定时间,所以可以过一段时间后再访问3000端口)
启动后,登录帐号即可使用Open-WebUI来和大模型对话啦~
停止运行Open-WebUI:
docker stop open-webui
更多信息可查看Open-WebUI官方文档:⭐ Features | Open WebUI