在 Windows WSL 上部署 Ollama 和大语言模型：从镜像冗余问题看 Docker 最佳实践20241208

news2024/12/12 16:26:57

🛠️ 在 Windows WSL 上部署 Ollama 和大语言模型：从镜像冗余问题看 Docker 最佳实践

⭐ 引言

随着大语言模型（LLM）和人工智能技术的迅猛发展，开发者们越来越多地尝试在本地环境中部署模型进行实验。
但部署过程中常常会遇到 网络限制、资源冲突 和 工具复杂性 等问题。本文聚焦于实际操作中遇到的 Docker 镜像冗余问题，并总结了从问题发现到解决的完整流程。同时，结合 Ollama、Open WebUI 和 Qwen 的联系，分享一套适用于本地 LLM 部署的 Docker 最佳实践工作流，帮助开发者高效部署和管理模型。
在这里插入图片描述

🔍 Ollama、Open WebUI 和 Qwen 的联系

📌 Ollama

  • 定位：本地大语言模型推理工具，支持 RESTful API。
  • 功能：
    • 提供 LLM 模型的高效推理能力。
    • 通过命令行工具快速部署 RESTful 服务。
  • 优势：
    • 轻量化：支持 CPU 和 GPU 环境。
    • 离线能力：无需联网即可本地运行模型。

📌 Open WebUI

  • 定位：基于浏览器的交互界面，方便与模型交互。
  • 功能：
    • 提供文档导入和 RAG（检索增强生成）支持。
    • 可视化界面适合复杂任务的操作。
  • 优势：
    • 用户友好：降低命令行门槛。
    • 高扩展性：与 Ollama 的后端无缝结合。

📌 Qwen

  • 定位：阿里巴巴推出的大语言模型，支持中英文双语。
  • 功能：
    • 文本生成、理解和推理能力强大。
    • 可在 Ollama 或 Hugging Face 环境中部署。
  • 优势：
    • 任务灵活：适用于对话生成、知识问答等。
    • 开放性强：支持自定义训练与开源应用。

📎 三者的协作

  • Ollama 提供模型推理服务，并通过 API 接口供其他工具调用。
  • Open WebUI 作为用户界面，与 Ollama 的 API 交互。
  • Qwen 是核心模型，为用户提供实际生成能力。

🛠️ 镜像冗余问题：从发现到解决的完整分析

📌 问题背景

在通过 Docker 部署 Open WebUI 时，始终无法正常启动容器，日志显示 网络无法访问 Hugging Face。但实际根源是 Docker 镜像冗余 导致的容器冲突。

现象：
1. 多个停止状态的容器残留。
2. 重复镜像未清理，导致新容器启动失败。
3. 错误日志显示：

Error response from daemon: conflict: unable to delete <image_id> - image is being used by stopped container.

📋 问题排查与解决

1. 检查运行状态的容器：

docker ps -a

输出结果显示多个以相同镜像启动的容器，其中一些处于停止状态。

2. 检查镜像状态：

docker images

发现重复镜像未清理，占用存储空间，可能导致冲突。

3. 停止并删除所有相关容器：

docker stop <container_id>
docker rm <container_id>

4. 强制删除镜像：
即使镜像有残留关联容器，docker rmi 也可以强制删除：

docker rmi <image_id>

• 例如：docker rmi 7d2
此命令只需提供镜像 ID 的前几位即可，Docker 会自动匹配。

5. 删除未使用的镜像：
该命令清理所有未被使用的镜像，释放存储空间。

docker image prune -a

6. 重新加载镜像并启动容器：

  • 加载离线镜像：
docker load < x86-64-images.tar.gz
  • 启动 Open WebUI 容器
docker run -d --network=host \
    -v /home/<user>/.ollama/models:/app/backend/data \
    -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main
  • 以下是对该 docker run 命令的逐步解读，每个选项和参数的详细说明：

**1. 基本命令：docker run **
• 启动一个新的容器实例，基于指定的镜像运行。
• 这是 Docker 最常用的命令，用于容器化服务的启动。

2. 参数解析

  • -d
    • 含义：以 后台（detached）模式 运行容器。
    • 功能：让容器在后台运行，而不是占用当前终端。
    • 优势：适合需要长期运行的服务，如 API 或 Web 应用。

  • –network=host
    • 含义：让容器直接使用主机的网络栈，而不启用 Docker 默认的桥接网络。
    • 功能：
    • 容器中的服务可直接使用主机的 IP 和端口，而不需要端口映射。
    • 网络性能更高，避免了容器和主机之间的网络虚拟化开销。
    • 注意：
    • 使用 --network=host 时，容器内的端口与主机共用，因此可能引发端口冲突。
    • 在某些场景下可能降低安全性，因为容器直接暴露于主机网络。

  • -v /home//.ollama/models:/app/backend/data
    • 含义：挂载主机目录 /home//.ollama/models 到容器中的 /app/backend/data。
    • 功能：
    • 主机的 ~/.ollama/models 目录用于存储模型文件，将其挂载到容器内的对应目录。
    • 容器运行期间可以访问主机上的模型文件，实现数据共享。
    • 优势：
    • 数据持久化：即使容器删除，模型文件仍保留在主机上。
    • 方便管理：直接在主机上更新模型文件，无需重启容器。

  • -e OLLAMA_BASE_URL=http://127.0.0.1:11434
    • 含义：通过环境变量 -e 为容器中的服务设置配置。
    • 功能：
    • 定义 OLLAMA_BASE_URL 环境变量，指定 Ollama 服务的基地址。
    • 在该示例中，http://127.0.0.1:11434 表示 Ollama 服务运行在主机的 127.0.0.1 地址和 11434 端口上。
    • 优势：
    • 配置灵活：通过环境变量可动态调整服务地址，无需修改代码或重新构建镜像。

  • –name open-webui
    • 含义：为容器指定一个唯一的名字 open-webui。
    • 功能：
    • 方便管理容器，例如 docker stop open-webui。
    • 提高可读性，相比于容器的随机 ID，容器名字更易识别。

  • –restart always
    • 含义：设置容器的重启策略为 always。
    • 功能：
    • 当 Docker 守护进程启动时，自动重启该容器。
    • 如果容器崩溃，也会自动尝试重启。
    • 优势：
    • 提高服务的稳定性和可用性，适合长时间运行的容器化服务。

  • ghcr.io/open-webui/open-webui:main
    • 含义：指定容器镜像来源。
    • 解析：
    • ghcr.io/open-webui/open-webui：镜像的路径，托管于 GitHub Container Registry。
    • main：镜像的标签，通常表示主分支的最新版本。
    • 功能：
    • Docker 会从注册表拉取 open-webui:main 镜像并创建容器。
    • 如果镜像已存在本地，则直接使用，无需重复下载。

技巧总结

    1. 缩短 ID 输入：
      无需完整输入容器或镜像的 ID，只需提供前几位即可，Docker 自动匹配：
docker rm 7eb
docker rmi 7d2
    1. 强制删除镜像：
      若提示镜像被关联容器占用，可先删除关联的容器或直接用 docker rmi 强制删除。
    1. 清理未使用资源：
      使用 docker image prune -a 一次性清理所有未使用的镜像，保持存储空间整洁。

📋 Docker 最佳实践工作流

为避免类似问题，以下是一套 系统化的 Docker 清理与部署工作流，帮助开发者优化操作流程：

📌 1. 项目初始化

1. 检查已有容器和镜像状态：

docker ps -a
docker images

2. 清理未使用的容器和镜像：

docker container prune
docker image prune -a

📌 2. 加载或拉取镜像

  • 加载离线镜像：
tar -xzvf x86-64-images.tar.gz
docker load < x86-64-images.tar.gz
  • 拉取远程镜像：
docker pull ghcr.io/open-webui/open-webui:main

📌 3. 部署并启动容器

1. 启动 Open WebUI：

docker run -d --network=host \
    -v /home/<user>/.ollama/models:/app/backend/data \
    -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main

2. 启动 Ollama 服务：

ollama serve

📌 4. 日常维护

  • 查看容器状态：
docker ps
  • 查看容器日志：
docker logs <container_id>
  • 更新镜像：
docker pull ghcr.io/open-webui/open-webui:main

📝 结语

这次部署的最大收获在于：
1. 系统化问题分析：通过逐步排查，从网络问题定位到 Docker 镜像冲突。
2. 工具高效协作：深入理解 Ollama、Open WebUI 和 Qwen 的协作方式，充分发挥其功能。
3. 优化实践工作流：总结出了一套高效的 Docker 清理与部署流程。

希望这篇博客能为遇到类似问题的开发者提供启发和帮助。如果您有任何问题或想法，欢迎留言讨论！ 🚀

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2258324.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

2、开发环境优化与创建第一个插件程序

2、开发环境优化与创建第一个插件程序

一、创建测试用例二、vscode优化2.1 修改默认终端为普通cmd2.2 配置一键编译&&运行&&监视一、创建测试用例 使用命令yo code生成一个测试用例，选择或输入下面的内容。2. 命令的最后会提示是否使用vscode打开，选择打开就行。 3. 在当前目录下会产生helloworld…
阅读更多...
公有云和私有云的区别

公有云和私有云的区别

目录 ​1、公有云&#xff08;PublicClouds&#xff09; ​2、私有云&#xff08;PrivateClouds&#xff09; ​2.1 私有云又分为两种 3、混合云&#xff08;hybrid cloud&#xff09; ​3.1 公有云和私有云的区别 ​3.2 选择公有云或者是私有云 4 政务云&#xff08;Go…
阅读更多...
TortoiseGit的下载、安装和配置

TortoiseGit的下载、安装和配置

一、TortoiseGit的简介 tortoiseGit是一个开放的git版本控制系统的源客户端&#xff0c;支持Winxp/vista/win7.该软件功能和git一样 不同的是&#xff1a;git是命令行操作模式&#xff0c;tortoiseGit界面化操作模式&#xff0c;不用记git相关命令就可以直接操作&#xff0c;读…
阅读更多...
jmeter调整字号无法生效？

jmeter调整字号无法生效？

调整之前如上图&#xff0c;字体非常小&#xff0c;哪怕我设置的字号是48 查阅了资料&#xff0c;试了几次&#xff0c;解决办法如下&#xff1a; 用编辑器打开jmeter.bat 在echo off的下一行添加以下代码 set JVM_ARGS%JVM_ARGS% -Dswing.plaf.metal.controlFontDialog-20…
阅读更多...
【实操GPT-SoVits】声音克隆模型图文版教程

【实操GPT-SoVits】声音克隆模型图文版教程

项目github地址&#xff1a;https://github.com/RVC-Boss/GPT-SoVITS.git官方教程&#xff1a;https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e/tkemqe8vzhadfpeu本文旨在迅速实操GPT-SoVits项目&#xff0c;不阐述技术原理&#xff08;后期如果有时间研究&#…
阅读更多...
【Web】2023安洵杯第六届网络安全挑战赛 WP

【Web】2023安洵杯第六届网络安全挑战赛 WP

目录 Whats my name easy_unserialize signal Swagger docs 赛题链接&#xff1a;GitHub - D0g3-Lab/i-SOON_CTF_2023: 2023 第六届安洵杯 题目环境/源码 Whats my name 第一段正则用于匹配以 include 结尾的字符串&#xff0c;并且在 include 之前&#xff0c;可以有任…
阅读更多...
大模型简单实践

大模型简单实践

大模型简单实践 最近参加了Datawhale AI冬令营&#xff08;第一期&#xff09;的活动 网站链接 手把手教学&#xff0c;借助Chat-嬛嬛 搭上讯飞星辰MaaS平台&#xff0c;快速训练处一个可以自由聊天的对话机器人。
阅读更多...
Linux的基本功能和命令

Linux的基本功能和命令

Linux的基本功能和命令 切换目录 pwd 查询当前目录地址 cd /xxx/xxx 转到目录 cd …/ 回到上一级目录 cd ./ 当前目录 创建、删除文件/文件夹 创建文件\文件夹 touch filename 创建空文件mkdir 创建目录 mkdir -p 目标目录存在也不报错mkdir -p xxx/xxx 递归创建目录…
阅读更多...
LLC谐振变换器的工作模态分析

LLC谐振变换器的工作模态分析

概述 LLC谐振变换器在传统串联LC和并联LC谐振变换器的基础之上进行改进&#xff0c;既有LC串联谐振变换器谐振电容所起到的隔直作用和谐振网络电流随负载轻重而变化&#xff0c;轻载时效率较高的优点。同时又有LC并联谐振变化器可以在空载条件下&#xff0c;对滤波电容的电流脉…
阅读更多...
Goby AI 2.0 自动化编写 EXP | Mitel MiCollab 企业协作平台 npm-pwg 任意文件读取漏洞(CVE-2024-41713)

Goby AI 2.0 自动化编写 EXP | Mitel MiCollab 企业协作平台 npm-pwg 任意文件读取漏洞(CVE-2024-41713)

漏洞名称&#xff1a;Mitel MiCollab 企业协作平台 npm-pwg 任意文件读取漏洞(CVE-2024-41713) English Name&#xff1a;Mitel MiCollab /npm-pwg File Read Vulnerability (CVE-2024-41713) CVSS core: 6.8 漏洞描述&#xff1a; Mitel MiCollab 是加拿大 Mitel 公司推出…
阅读更多...
视频安防监控平台：Liveweb视频监控管理云平台方案

视频安防监控平台：Liveweb视频监控管理云平台方案

LiveWeb是深圳市好游科技有限公司开发的一套综合视频汇聚管理平台&#xff0c;可提供多协议&#xff08;RTSP/RTMP/GB28181/海康Ehome/大华&#xff0c;海康SDK等&#xff09;的视频设备接入&#xff0c;支持GB/T28181上下级联&#xff0c;RTSP\RTMP转GB/T28181&#xff0c;云台…
阅读更多...
ip地址暴露了怎么办？手机怎样改ip地址以保障安全

ip地址暴露了怎么办？手机怎样改ip地址以保障安全

在数字化时代，IP地址作为我们连接互联网的“身份证”，其安全性至关重要。然而，有时我们的IP地址可能会因各种原因暴露，从而引发隐私泄露、网络攻击等风险。本文将为您详细解析IP地址暴露后的应对措施，特别是针对手机用户，提供实用的更改IP地址方法，帮助您有效保障网络安…
阅读更多...
组合分支预测

组合分支预测

前言 这篇文章讨论了几种分支预测的实现方式。具体内容如下&#xff1a; 内容 introduction 这篇文章只考虑预测分支跳转方向&#xff0c;不讨论跳转的目标地址。 Bimodal Branch Prediction 分支行为的特点&#xff1a;大多数程序中的分支指令并不是随机的&#xff0c;通…
阅读更多...
爬虫基础之代理的基本原理

爬虫基础之代理的基本原理

在做爬虫的过程中经常会遇到一种情况&#xff0c;就是爬虫最初是正常运行、正常抓取数据的&#xff0c;一切看起来都是那么美好&#xff0c;然而一杯茶的工夫就出现了错误&#xff0c;例如 403 Forbidden&#xff0c;这时打开网页一看&#xff0c;可能会看到“您的IP访问频率太…
阅读更多...
数据结构——对顶堆

数据结构——对顶堆

对顶堆 由一个大根堆和一个小根堆组成&#xff0c;小根堆里面的数永远比大根堆里面的数要大 用途&#xff1a;用于动态维护区间内第k大的数&#xff0c;要比线段树和动态平衡树写起来更简单 比如说我们要维护第k大的数&#xff0c;那么我们肯定是将前k大的数放进小根堆&#…
阅读更多...
设计模式之原型模式：深入浅出讲解对象克隆

设计模式之原型模式：深入浅出讲解对象克隆

~犬&#x1f4f0;余~ “我欲贱而贵&#xff0c;愚而智&#xff0c;贫而富&#xff0c;可乎&#xff1f; 曰&#xff1a;其唯学乎” 原型模式概述 在我们的日常生活中&#xff0c;经常会遇到"复制"这样的场景。比如我们在准备文件时&#xff0c;常常会复印一份原件&a…
阅读更多...
Elasticsearch Serverless 中的数据流自动分片

Elasticsearch Serverless 中的数据流自动分片

作者&#xff1a;来自 Elastic Andrei Dan 在 Elastic Cloud Serverless 中&#xff0c;我们根据索引负载自动为数据流配置最佳分片数量&#xff0c;从而使用户无需摆弄分片。 传统上&#xff0c;用户会更改数据流的分片配置&#xff0c;以处理各种工作负载并充分利用可用资源。…
阅读更多...
【Golang】Go语言编程思想（六）：Channel，第四节，Select

【Golang】Go语言编程思想（六）：Channel，第四节，Select

使用 Select 如果此时我们有多个 channel&#xff0c;我们想从多个 channel 接收数据&#xff0c;谁来的快先输出谁&#xff0c;此时应该怎么做呢&#xff1f;答案是使用 select&#xff1a; package mainimport "fmt"func main() {var c1, c2 chan int // c1 and …
阅读更多...
MindSearch深度解析实践

MindSearch深度解析实践

任务要求&#xff1a;在 官方的MindSearch页面 复制Spaces应用到自己的Spaces下&#xff0c;Space 名称中需要包含 MindSearch 关键词&#xff0c;请在必要的步骤以及成功的对话测试结果当中 1.在github codespace中配置环境 conda create -n mindsearch python3.10 -y conda…
阅读更多...
【PyQt5教程 二】Qt Designer 信号与槽的使用方法及PyQt5基本小部件说明

【PyQt5教程 二】Qt Designer 信号与槽的使用方法及PyQt5基本小部件说明

目录 一、信号与槽机制&#xff1a; 二、信号与槽使用方法&#xff1a; &#xff08;1&#xff09;使用Qt Designer 的信号与槽编辑器&#xff1a; &#xff08;2&#xff09;使用固定语法直接建立信号槽连接&#xff1a; 三、PyQt小部件及其触发信号&#xff1a; &#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023