💥Ollama介绍

Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。它提供了一套简单的工具和命令，使任何人都可以轻松地启动和使用各种流行的LLM，例如GPT-3、Megatron-Turing NLG和WuDao 2.0。

💥qwen-2模型

Qwen-2（Qwen-2，量子阱增强神经网络版本2）是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训，Qwen-2 引入了多项关键增强功能和功能，旨在提高其性能、多功能性和跨各个领域的适用性。

💥部署教程

下载Ollama

官网：https://ollama.com/

下载安装过程，简单， 安装完成后， 右下角有个小图标（第一个）

选择模型：

挑选一个模型：

模型大小越小， 功能越简单， 部署简单， 体验一般。 反之，模型越大， 体验越完善， 部署成本大。

测试体验， 可以选择1.5b

💥运行模型

方式1

打开cmd命令行：运行

ollama run qwen2:1.5b，看到success就成功了，然后随便输入什么， 就可以体验了

方式2：OpenWebUI-页面

Open WebUI介绍：
Open WebUI 是一个仿照 ChatGPT 界面，为本地大语言模型提供图形化界面的开源项目，可以非常方便的调试、调用本地模型。你能用它连接你在本地的大语言模型（包括 Ollama 和 OpenAI 兼容的 API），也支持远程服务器。Docker 部署简单，功能非常丰富，包括代码高亮、数学公式、网页浏览、预设提示词、本地 RAG 集成、对话标记、下载模型、聊天记录、语音支持等。

使用docker 安装

原文建议，直接docker命令安装：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

但是因为镜像问题， 实在拉不下来，换了阿里云的镜像也没好。 

最终，换用了南京大学镜像站ghcr.nju.edu.cn的镜像，效果是一样的。

配置docker: "https://ghcr.nju.edu.cn"

docker pull ghcr.nju.edu.cn/open-webui/open-webui:main

拉到镜像后， 启动就好了

访问地址

http://localhost:3000/

选择模型， 就可以了

参考文章

参考文章1：使用Ollama+OpenWebUI本地部署阿里通义千问Qwen2 AI大模型_ollama qwen2-CSDN博客文章浏览阅读9k次，点赞134次，收藏119次。Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。qwen-2（Qwen-2，量子阱增强神经网络版本2）是阿里巴巴集团开发的先进人工智能语言模型。基于 Qwen-1 的成功和经验教训，Qwen-2 引入了多项关键增强功能和功能，旨在提高其性能、多功能性和跨各个领域的适用性。_ollama qwen2https://blog.csdn.net/jxjdhdnd/article/details/139755600

参考文章2：

1panel中open-webui镜像下载失败问题解决_ghcr.io 加速-CSDN博客文章浏览阅读8.6k次，点赞26次，收藏28次。1panel中open-webui镜像下载失败问题解决_ghcr.io 加速https://blog.csdn.net/yang2330648064/article/details/137185784