deepseek-r1-centos-本地服务器配置方法

news2025/2/28 0:25:39

参考：
纯小白 Centos 部署DeepSeek指南_centos部署deepseek-CSDN博客
https://blog.csdn.net/xingxin550/article/details/145574080

手把手教大家如何在Centos7系统中安装Deepseek，一文搞定_centos部署deepseek-CSDN博客
https://blog.csdn.net/soso678/article/details/145670623

DeepSeek R1、V3的1.5b/7b/32b/70b和671b模型，本地部署硬件要求对应表丨AI 指南
https://aizhinan.cc/217

使用 Docker 安装 Open WebUI 并集成 Ollama 的 DeepSeek 模型_基于 docker 部署 open-webui 并配置集成 ollama 服务-CSDN博客
https://blog.csdn.net/qq_36693723/article/details/145597221

解决关于Docker运行容器使用GPU资源时的异常：could not select device driver ““ with capabilities: [[gpu]]_error response from daemon: could not select devic-CSDN博客
https://blog.csdn.net/qq_38628046/article/details/136312844

Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

centos7.9中安装dnf；bash: dnf: command not found… - 小鲨鱼2018 - 博客园
https://www.cnblogs.com/liujiaxin2018/p/14942564.html

🚧 服务器连接问题 | Open WebUI
https://openwebui-doc-zh.pages.dev/troubleshooting/connection-error/

Ubuntu 安装openwebui，部署私人本地AI（deepseek） - SaiitaのBlog
https://www.saiita.com.cn/note/computer/ai/open-webui/ubuntu-%E5%AE%89%E8%A3%85openwebui%E9%83%A8%E7%BD%B2%E7%A7%81%E4%BA%BA%E6%9C%AC%E5%9C%B0aideepseek.html

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)
https://github.com/open-webui/open-webui

Open WebUI 版本 v0.5.10（最新版）普通用户无法查看模型解决_openwebui用户看不到模型-CSDN博客
https://blog.csdn.net/jxyk2007/article/details/145608193

目录

  • 问题描述
  • 解决方案
    • 安装ollama
    • 安装模型
      • 模型版本选择
      • 安装模型
    • 网页访问
    • 网页访问的设置
      • 报错解决

问题描述

公司要求配置一个本地的deepseek。

解决方案

安装ollama

首先检查系统架构，比如我是x86_64就下载后缀是amd64的

uname -m

然后去github上（https://github.com/ollama/ollama）下载安装包，解压到指定目录。

tar -zxvf ollama-linux-amd64.tgz

配置ollama

vi /etc/systemd/system/ollama.service	

内容如下：

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/安装目录/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

配置环境变量：

vi ~/.bashrc

export PATH="/安装目录/ollama/bin:$PATH"

然后source一下。

检查是否安装成功：

ollama -v

启动：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

测试访问：
浏览器输入ip:11434（配置时指定的端口），如下图显示就是成功了。
在这里插入图片描述

安装模型

模型版本选择

首先，deepseek模型中的1.5b，7b等代表模型的参数量，单位是B（Billion，十亿），所以参数量越大：

  1. 模型的理解和生成能力越强，但也需要更多的计算资源
  2. 对内存和显存的要求越高
  3. 推理速度越慢，尤其是资源不足的时候。

检查系统资源，以确保服务器资源足够支持模型运行：

  • CPU/GPU：使用nvidia-smi（如有GPU）或htop检查资源使用情况
  • 内存：使用free -h查看内存使用情况
  • 存储：使用df -h检查存储空间

然后参考下表的要求（更多细节参见顶端参考文章3）：
在这里插入图片描述

安装模型

我选择了7b，所以这样安装：

ollama pull deepseek-r1:7b

下图这样就是装好了。
在这里插入图片描述
测试：

ollama run deepseek-r1:7b

在这里插入图片描述
退出对话：

ctrl+d

网页访问

拉取docker容器open-webui。

这个是cpu版本：

docker run -d --network=host -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

效果：
在这里插入图片描述
第一次使用时先注册管理员账号，然后就可以使用了。
在这里插入图片描述
gpu版本：

docker run -d --network=host --gpus all --add-host=host.docker.internal:host-gateway -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui-gpu --restart always  ghcr.io/open-webui/open-webui:cuda

网页访问的设置

  1. 加入联网搜索。duckduckgo是免费的
    在这里插入图片描述
  2. 展示所有模型
    在这里插入图片描述
  3. 这个OpenAI API要关掉，不然登录后会白屏很久
    在这里插入图片描述
  4. 设置默认用户角色，允许新用户注册
    在这里插入图片描述
  5. 设置模型为Public。一定要设置这里，不然用户注册进来看不到。
    在这里插入图片描述
    在这里插入图片描述

报错解决

  1. could not select device driver ““ with capabilities: [[gpu]]
    这个是需要安装nvidia-container-toolkit。参考nvidia官网的解法如下所示：
    1）Configure the production repository:

    curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

    Optionally, configure the repository to use experimental packages:

    sudo dnf-config-manager --enable nvidia-container-toolkit-experimental

    2）Install the NVIDIA Container Toolkit packages:

    sudo dnf install -y nvidia-container-toolkit

    安装完后需要重启docker。

  2. dnf: command not found

    yum install epel-release
yum install dnf

  3. docker容器开启了但是浏览器拒绝访问
    参见官网给的指示，我用的是红线部分。

    docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    在这里插入图片描述
    在这里插入图片描述

    HuggingFaceSSL
docker run -d -p 3000:8080 -e HF_ENDPOINT=https://hf-mirror.com/ --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Mac
podman run -d --network slirp4netns:allow_host_loopback=true -p 3000:8080 -e OLLAMA_BASE_URL=http://host.containers.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  4. 登录之后白屏很久
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2307106.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

mapbox添加自定义图片绑定点击事件，弹窗为自定义组件

mapbox添加自定义图片绑定点击事件，弹窗为自定义组件

一、首先构建根据后端返回的数据构建geojson格式的数据，点位的geojson数据格式： {"type": "FeatureCollection","features": [{"type": "Feature","geometry": {"type": "…
阅读更多...
车载DoIP诊断框架 --- 连接 DoIP ECU/车辆的故障排除

车载DoIP诊断框架 --- 连接 DoIP ECU/车辆的故障排除

我是穿拖鞋的汉子，魔都中坚持长期主义的汽车电子工程师。 老规矩，分享一段喜欢的文字，避免自己成为高知识低文化的工程师： 简单，单纯，喜欢独处，独来独往，不易合同频过着接地气的生活，除了生存温饱问题之外，没有什么过多的欲望，表面看起来很高冷，内心热情，如果你身…
阅读更多...
嵌入式开发：傅里叶变换（4）：在 STM32上面实现FFT（基于STM32L071KZT6 HAL库+DSP库）

嵌入式开发：傅里叶变换（4）：在 STM32上面实现FFT（基于STM32L071KZT6 HAL库+DSP库）

目录 步骤 1：准备工作 步骤 2：创建 Keil 项目，并配置工程 步骤 3：在MDK工程上添加 CMSIS-DSP 库 步骤 5：编写代码 步骤 6：配置时钟和优化 步骤 7：调试与验证 步骤 8：优化和调…
阅读更多...
vscode/cursor+godot C#中使用socketIO

vscode/cursor+godot C#中使用socketIO

在 Visual Studio Code(VS Code)中安装 NuGet 包（例如SocketIOClient），你可以通过以下几种方法： 方法 1：使用dotnet cli 打开终端：在 VS Code 中按下Ctrl 或者通过菜单View -> Terminal打开终端。 导…
阅读更多...
应用的负载均衡

应用的负载均衡

概述 负载均衡（Load Balancing） 调度后方的多台机器，以统一的接口对外提供服务，承担此职责的技术组件被称为“负载均衡”。 负载均衡器将传入的请求分发到应用服务器和数据库等计算资源。负载均衡是计算机网络中一种用于优化资源利…
阅读更多...
区块链仿真工具SimBlock使用

区块链仿真工具SimBlock使用

1. Environment requirements SimBlock 可以在 Windows、MacOS、Ubuntu Linux 或任何支持 Java 的 Unix 平台上运行。 它需要以下版本的 JDK 和 Gradle。 请注意，SimBlock 的仓库中包含 Gradle Wrapper，因此您也可以自动安装 Gradle（我们稍…
阅读更多...
面试八股文--数据库基础知识总结(2) MySQL

面试八股文--数据库基础知识总结(2) MySQL

本文介绍关于MySQL的相关面试知识 一、关系型数据库 1、定义 关系型数据库（Relational Database）是一种基于关系模型的数据库管理系统（DBMS），它将数据存储在表格（表）中，并通过表格…
阅读更多...
江协科技/江科大-51单片机入门教程——P[1-3] 单片机及开发板介绍

江协科技/江科大-51单片机入门教程——P[1-3] 单片机及开发板介绍

前言：本节主要的任务是了解一下 51 单片机和所用的普中51开发板。 目录 一、单片机介绍 二、单片机的应用领域 三、STC89C52单片机 四、命名规则 五、单片机内部拆解 六、单片机内部结构图 七、单片机管脚图 八、单片机最小系统 九、开发板介绍 十、开发…
阅读更多...
【Uniapp-Vue3】导入uni-id用户体系

【Uniapp-Vue3】导入uni-id用户体系

在uniapp官网的uniCloud中下载uni-id用户体系 或者直接进入加载，下载地址：uni-id-pages - DCloud 插件市场 进入以后下载插件，打开HbuilderX 选中项目，点击确定 点击跳过 点击合并 右键uniCloud文件夹下的database文件夹&#x…
阅读更多...
如何免费使用稳定的deepseek

如何免费使用稳定的deepseek

0、背景： 在AI辅助工作中，除了使用cursor做编程外，使用deepseek R1进行问题分析、数据分析、代码分析效果非常好。现在我经常会去拿行业信息、遇到的问题等去咨询R1，也给了自己不少启示。但是由于官网稳定性很差，很多…
阅读更多...
基于 ‌MySQL 数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释

基于 ‌MySQL 数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释

基于 ‌MySQL 数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释，结合理论与实际操作说明： 一、三级视图核心概念 数据库的三级视图是 ANSI/SPARC 体系结构的核心思想，MySQL 的实现逻辑如下： …
阅读更多...
easyexcel和poi同时存在版本问题，使用easyexcel导出excel设置日期格式

easyexcel和poi同时存在版本问题，使用easyexcel导出excel设置日期格式

这两天在使用easyexcel导出excel的时候日期格式全都是字符串导致导出的excel列无法筛选 后来调整了一下终于弄好了，看一下最终效果 这里涉及到easyexcel和poi版本冲突的问题，一直没搞定，最后狠下心来把所有的都升级到了最新版，然…
阅读更多...
取topN不同算法的实现的性能差别

取topN不同算法的实现的性能差别

背景 最近在实现一个需求，需要对大量数据中排序出前N，最暴力的方法肯定是直接全量排序。这里很明显是可以不用全量排序的，取前N，我们自然而然可以想到一个算法——堆排序。 一开始自己先写好了一版，后来想起&#xff…
阅读更多...
【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.1.2典型应用场景：日志分析、实时搜索、推荐系统

【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.1.2典型应用场景：日志分析、实时搜索、推荐系统

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 为什么选择Elasticsearch？——典型应用场景深度解析1. 引言2. 日志分析：海量数据的实时洞察2.1 行业痛点2.2 ES解决方案关键技术实现： 2.…
阅读更多...
Spring Cloud Alibaba学习 3- Sentinel入门使用

Spring Cloud Alibaba学习 3- Sentinel入门使用

Spring Cloud Alibaba学习 3- Sentinel入门使用 中文文档参考：Sentinel中文文档 一. SpringCloud整合Sentinel 1.1 下载Sentinel-Dashboard Sentinel下载地址：Sentinel-Dashboard 到下载目录，cmd输入 java -jar sentinel-dashboard-1.8…
阅读更多...
使用DeepSeek/chatgpt等AI工具辅助网络协议流量数据包分析

使用DeepSeek/chatgpt等AI工具辅助网络协议流量数据包分析

随着deepseek,chatgpt等大模型的能力越来越强大，本文将介绍一下deepseek等LLM在分数流量数据包这方面的能力。为需要借助LLM等大模型辅助分析流量数据包的同学提供参考，也了解一下目前是否有必要继续学习wireshark工具以及复杂的协议知识。 pcap格式 目…
阅读更多...
C语言 --- 经典习题1

C语言 --- 经典习题1

C语言 --- 经典习题1 第 一 题 - - - 交 换 两 个 整 数 的 值（四 种 方 法）第 二 题 - - - 最 大 公 约 数 和 最 小 公 倍 数 之 和总结 💻作者简介：曾 与 你 一 样 迷 茫，现 以 经 验 助 你 入 门 C 语 言 &#x1…
阅读更多...
自定义mybatis拦截器，在springboot项目中不起作用的解决方法

自定义mybatis拦截器，在springboot项目中不起作用的解决方法

自定义mybatis拦截器，在springboot项目中不起作用的解决方法 自定义mybatis拦截器，在若依springboot项目中不起作用的原因 找到 MyBatisConfig 配置类，引入自定义配置 在sqlSessionFactory中添加自定义拦截器，就可以正常使用了…
阅读更多...
记录一下在k3s快速创建gitlab

记录一下在k3s快速创建gitlab

废话不多说，直接上配置文件 需要修改的地方（备注都有写）： 1.命名空间 namespace 2. claimName 文件挂载 Deployment kind: Deployment apiVersion: apps/v1 metadata:name: gitlabnamespace: cicd # 替换为您的命名空间la…
阅读更多...
AWQ和GPTQ量化的区别

AWQ和GPTQ量化的区别

一、前言 本地化部署deepseek时发现，如果是量化版的deepseek，会节约很多的内容，然后一般有两种量化技术，那么这两种量化技术有什么区别呢？ 二、量化技术对比 在模型量化领域，AWQ 和 GPTQ 是两种不同的量…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023