Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

news2025/2/7 6:37:53

1. 在Linux服务器上部署DeepSeek模型

要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作：

步骤 1：安装 Ollama

  1. 安装 Ollama：
    使用以下命令安装 Ollama：

    curl -sSfL https://ollama.com/download.sh | sh

  2. 验证安装：
    安装完成后，您可以通过以下命令验证 Ollama 是否安装成功：

    ollama --version

在这里插入图片描述

步骤 2：下载模型

ollama run deepseek-r1:32b

这将下载并启动DeepSeek R1 32B模型。
在这里插入图片描述

DeepSeek R1 蒸馏模型列表

模型名称参数量基础架构适用场景
DeepSeek-R1-Distill-Qwen-1.5B1.5BQwen2.5适合移动设备或资源受限的终端
DeepSeek-R1-Distill-Qwen-7B7BQwen2.5适合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B8BLlama3.1适合小型企业日常文本处理
DeepSeek-R1-Distill-Qwen-14B14BQwen2.5适合桌面级应用
DeepSeek-R1-Distill-Qwen-32B32BQwen2.5适合专业领域知识问答系统
DeepSeek-R1-Distill-Llama-70B70BLlama3.3适合科研、学术研究等高要求场景

RTX 4090 显卡显存为 24GB，32B 模型在 4-bit 量化下约需 22GB 显存，适合该硬件。32B 模型在推理基准测试中表现优异，接近 70B 模型的推理能力，但对硬件资源需求更低。

步骤 3：运行模型

在这里插入图片描述
通过上面的步骤，已经可以直接在 Linux服务器通过命令行的形式使用Deepseek了。但是不够友好，下面介绍更方便的形式。

2. 在linux服务器配置Ollama服务

1. 设置Ollama服务配置
设置OLLAMA_HOST=0.0.0.0环境变量，这使得Ollama服务能够监听所有网络接口，从而允许远程访问。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

2. 重新加载并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama
  1. 验证Ollama服务是否正常运行
    运行以下命令，确保Ollama服务正在监听所有网络接口：
sudo netstat -tulpn | grep ollama

您应该看到类似以下的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墙以允许远程访问

为了确保您的Linux服务器允许从外部访问Ollama服务，您需要配置防火墙以允许通过端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 验证防火墙规则
确保防火墙规则已正确添加，并且端口11434已开放。您可以使用以下命令检查防火墙状态：

sudo ufw status

状态： 激活

至                          动作          来自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6)

6. 测试远程访问
在完成上述配置后，您可以通过远程设备（如Mac）测试对Ollama服务的访问。
在远程设备上测试连接：
在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

curl http://10.70.83.38:11434/api/version

显示

{"version":"0.5.7"}

测试问答

(base) ➜  ~ curl -X POST http://10.70.83.38:11434/api/generate \
     -H "Content-Type: application/json" \
     -d '{"model": "deepseek-r1:32b", "prompt": "你是谁?"}'

显示

{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.118616168Z","response":"\u003cthink\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.150938966Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.175255854Z","response":"\u003c/think\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.199509353Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.223657359Z","response":"您好","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.24788375Z","response":"！","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.272068174Z","response":"我是","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.296163417Z","response":"由","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.320515728Z","response":"中国的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.344646528Z","response":"深度","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.36880216Z","response":"求","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.393006489Z","response":"索","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.417115966Z","response":"（","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.441321254Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.465439117Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.489619415Z","response":"）","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.51381827Z","response":"公司","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.538012781Z","response":"开发","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.562186246Z","response":"的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.586331325Z","response":"智能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.610539651Z","response":"助手","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.634769989Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.659134003Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.683523205Z","response":"-R","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.70761762Z","response":"1","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.731953604Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.756135462Z","response":"如","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.783480232Z","response":"您","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.807766337Z","response":"有任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.831964079Z","response":"任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.856229156Z","response":"问题","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.880487159Z","response":"，","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.904710537Z","response":"我会","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.929026993Z","response":"尽","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.953239249Z","response":"我","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.977496819Z","response":"所能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.001763128Z","response":"为您提供","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.026068523Z","response":"帮助","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.050242581Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.074454593Z","response":"","done":true,"done_reason":"stop","context":[151644,105043,100165,30,151645,151648,271,151649,198,198,111308,6313,104198,67071,105538,102217,30918,50984,9909,33464,39350,7552,73218,100013,9370,100168,110498,33464,39350,12,49,16,1773,29524,87026,110117,99885,86119,3837,105351,99739,35946,111079,113445,100364,1773],"total_duration":3872978599,"load_duration":2811407308,"prompt_eval_count":6,"prompt_eval_duration":102000000,"eval_count":40,"eval_duration":958000000}

通过上述步骤，已经成功在Linux服务器上配置了Ollama服务，并通过Mac远程访问了DeepSeek模型。接下来，将介绍如何在Mac上安装Web UI，以便更方便地与模型进行交互。

3. 在Mac上安装Web UI

为了更方便地与远程Linux服务器上的DeepSeek模型进行交互，可以在Mac上安装一个Web UI工具。这里我们推荐使用 Open Web UI，它是一个基于Web的界面，支持多种AI模型，包括Ollama。

1. 通过conda安装open-webui
打开终端，运行以下命令创建一个新的conda环境，并指定Python版本为3.11：

conda create -n open-webui-env python=3.11
conda activate open-webui-env
pip install open-webui

2. 启动open-webui

open-webui serve

在这里插入图片描述

3. 浏览器访问

http://localhost:8080/
  1. 使用管理员身份（第一个注册用户）登录
  2. 在Open webui界面中，依次点击“展开左侧栏”（左上角三道杠）–>“头像”（左下角）–>管理员面板–>设置（上侧）–>外部连接
  3. 在外部连接的Ollama API一栏将switch开关打开，在栏中填上http://10.70.83.38:11434（这是我的服务器地址）在这里插入图片描述
  4. 点击右下角“保存”按钮
  5. 点击“新对话”（左上角），确定是否正确刷出模型列表，如果正确刷出，则设置完毕。

4. 愉快的使用本地deepseek模型
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2294154.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

1-R语言概述

1-R语言概述

1.认识R语言 1.1 选择R语言的依据 免费的软件编程方便，语言灵活，图形功能强大优秀的内在帮助系统高质量、广泛的统计分析、数据挖掘平台国际上R语言已然是专业数据分析领域的标准 1.2 R的来源 ​ R是S语言的一种实现。S语言是由 AT&T贝尔实验室…
阅读更多...
【BQ3568HM开发板】智能家居中控屏连接华为云IoTDA物联网平台

【BQ3568HM开发板】智能家居中控屏连接华为云IoTDA物联网平台

目录 引言 安装OpenHarmony的MQTT库 华为云平台的操作 建立设备 建立物模型 连接华为云平台 发布LED灯状态 代码重构 测试结果 接收平台发送的属性修改命令 设备侧API Topic 下行请求参数说明 上行响应参数说明 程序修改 应用侧API 测试设备属性设置功能 结语…
阅读更多...
java 8 在 idea 无法创建 java spring boot 项目的 变通解决办法

java 8 在 idea 无法创建 java spring boot 项目的 变通解决办法

java 8 在 idea 无法创建 java spring boot 项目的 变通解决办法 spring boot 3 官方强制 要用 java 17 ，但是 不想安装java 17的 ，但是又想 使用 spring boot ，可以这样 ： 在这个网站 https://start.aliyun.com/ 选择 你相对…
阅读更多...
web-文件上传-CTFHub

web-文件上传-CTFHub

前言 在众多的CTF平台当中，作者认为CTFHub对于初学者来说，是入门平台的不二之选。CTFHub通过自己独特的技能树模块，可以帮助初学者来快速入门。具体请看官方介绍：CTFHub。 作者更新了CTFHub系列，希望小伙伴们多多支持…
阅读更多...
SQLAlchemy-2.0中模型定义和alembic的数据库迁移工具

SQLAlchemy-2.0中模型定义和alembic的数据库迁移工具

SQLAlchemy-2.0中模型定义和alembic的数据库迁移工具 一、SQLAIchemy的介绍二、数据库引擎1、支持的数据库1.1、sqlite数据库1.2、MySQL数据库1.3、数据库引擎的参数 三、定义模型类1、定义模型2、engine负责数据库迁移 四、alembic数据库迁移⼯具1、安装alembic2、初始化alemb…
阅读更多...
C# OpenCV机器视觉:图像风格迁移

C# OpenCV机器视觉:图像风格迁移

在一个充满奇思妙想的创意工作室里，小李正像只热锅上的蚂蚁，为客户的项目挠破了脑袋，急需寻找灵感的火花。他望着眼前那幅平淡无奇的风景图像，心想：“这玩意儿也太普通啦，就像一杯白开水，怎么能…
阅读更多...
语言月赛 202311【基因】题解（AC）

语言月赛 202311【基因】题解（AC）

》》》点我查看「视频」详解》》》 [语言月赛 202311] 基因 题目描述 有一个长度为 n n n 的字符串 S S S。其只包含有大写字母。 小 A 将 S S S 进行翻转后，得到另一个字符串 S ′ S S′。两个字符串 S S S 与 S ′ S S′ 对应配对。例如说，对…
阅读更多...
Spring @PropertySource：让你的应用配置更加模块化和可维护

Spring @PropertySource：让你的应用配置更加模块化和可维护

PropertySource注解在Spring中的作用，就像是给Spring应用配了一个“外部配置箱”。 想象一下，你在开发一个Spring应用时，有很多配置信息需要设置，比如数据库的连接信息、应用的某些功能开关等。如果这些信息都硬编码在代码中&…
阅读更多...
Deep Sleep 96小时：一场没有硝烟的科技保卫战

Deep Sleep 96小时：一场没有硝烟的科技保卫战

2025年1月28日凌晨3点，当大多数人还沉浸在梦乡时，一场没有硝烟的战争悄然打响。代号“Deep Sleep”的服务器突遭海量数据洪流冲击，警报声响彻机房，一场针对中国关键信息基础设施的网络攻击来势汹汹！ 面对美国发起的这场…
阅读更多...
快速搭建GPU环境 | docker、k8s中使用gpu

快速搭建GPU环境 | docker、k8s中使用gpu

目录 一、裸机部署安装 GPU Driver安装 CUDA Toolkit测试 二、Docker 环境安装 nvidia-container-toolkit配置使用该 runtime 三、 k8s 环境安装 device-plugin安装 GPU 监控 一、裸机部署 裸机中要使用上 GPU 需要安装以下组件： GPU DriverCUDA Toolkit 二者的关…
阅读更多...
npm中央仓库

npm中央仓库

1、官网地址 npm | Home 2、搜索依赖包
阅读更多...
2025年软考考试时间及考试科目如何安排？附考试注意事项！

2025年软考考试时间及考试科目如何安排？附考试注意事项！

一、考试时间 2025年软考举行两次考试，分别安排在上半年和下半年。根据最新公布的信息，2025年软考考试的具体时间安排如下： 上半年考试时间：5月24日至5月27日 下半年考试时间：11月8日至11月11日 考生需要在规定的时间内…
阅读更多...
4.PPT：日月潭景点介绍【18】

4.PPT：日月潭景点介绍【18】

目录 NO1、2、3、4​ NO5、6、7、8 ​ ​NO9、10、11、12 ​ 表居中或者水平/垂直居中单元格内容居中或者水平/垂直居中 NO1、2、3、4 新建一个空白演示文稿，命名为“PPT.pptx”（“.pptx”为扩展名）新建幻灯片 开始→版式“PPT_素材.doc…
阅读更多...
HTML排版标签、语义化标签、块级和行内元素详解

HTML排版标签、语义化标签、块级和行内元素详解

目录 前言 一、HTML中的排版标签 1. 文本相关标签 1.1 标题标签 ~ 1.2 段落标签 1.3 强调和加粗 1.4 换行标签 1.5 水平线标签 二、HTML中的语义化标签 2.1 语义化标签概述 2.2 常见的语义化标签 示例（核心代码部分）： 三、HTM…
阅读更多...
机器学习中的关键概念：通过SKlearn的MNIST实验深入理解

机器学习中的关键概念：通过SKlearn的MNIST实验深入理解

欢迎来到我的主页：【Echo-Nie】 本篇文章收录于专栏【机器学习】 1 sklearn相关介绍 Scikit-learn 是一个广泛使用的开源机器学习库，提供了简单而高效的数据挖掘和数据分析工具。它建立在 NumPy、SciPy 和 matplotlib 等科学计算库之上，支持…
阅读更多...
用NeuralProphet预测股价：AI金融新利器（附源码）

用NeuralProphet预测股价：AI金融新利器（附源码）

作者：老余捞鱼 原创不易，转载请标明出处及原作者。 写在前面的话：我用NeuralProphet模型预测了股票价格，发现其通过结合时间序列分析和神经网络算法，确实能提供比传统Last Value方法更精准的预测。经过一系列超参数调优…
阅读更多...
深度学习-103-RAG技术之通过分块技术提升RAG的效果

深度学习-103-RAG技术之通过分块技术提升RAG的效果

文章目录 1 RAG中的分块技术1.1 RAG是什么1.2 分块chunking是什么1.3 分块的重要性1.4 分块的技巧2 固定字符大小分块2.1 固定字符大小分块的优缺点2.2 自定义分块代码2.3 LangChain的CharacterTextSplitter3 递归字符文本分割3.1 递归字符文本分割的优缺点3.2 LangChain的Recu…
阅读更多...
【B站保姆级视频教程：Jetson配置YOLOv11环境（六）PyTorchTorchvision安装】

【B站保姆级视频教程：Jetson配置YOLOv11环境（六）PyTorchTorchvision安装】

Jetson配置YOLOv11环境（6）PyTorch&Torchvision安装 文章目录 1. 安装PyTorch1.1安装依赖项1.2 下载torch wheel 安装包1.3 安装 2. 安装torchvisiion2.1 安装依赖2.2 编译安装torchvision2.2.1 Torchvisiion版本选择2.2.2 下载torchvisiion到Downloa…
阅读更多...
Java进阶14 TCP日志枚举

Java进阶14 TCP日志枚举

Java进阶14 TCP&日志&枚举 一、网络编程TCP Java对基于TCP协议得网络提供了良好的封装，使用Socket对象来代表两端的通信端口，并通过Socket产生IO流来进行网络通信。 1、TCP协议发数据 1.1 构造方法 方法 说明 Socket(InetAddress address…
阅读更多...
[LVGL] 在VC_MFC中移植LVGL

[LVGL] 在VC_MFC中移植LVGL

前言： 0. 在MFC中开发LVGL的优点是可以用多个Window界面做辅助扩展 1.本文基于VC2022-MFC单文档框架移植lvgl8 2. gitee上下载lvgl8.3 源码，并将其文件夹改名为lvgllvgl: LVGL 是一个开源图形库，提供您创建具有易于使用的图形元素、漂亮的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023