【DeepSeek】Ubuntu快速部署DeepSeek(Ollama方式)

news2025/3/15 11:05:45

文章目录

  • 人人都该学习的DeepSeek
  • DeepSeek不同版本功能差异
  • DeepSeek与硬件直接的关系
  • DeepSeek系统兼容性
  • 部署方式选择
  • 部署步骤(Ollama方式)
    • 1.选定适合的deepseek版本
    • 2.环境准备
    • 3.安装Ollama
    • 4.部署deepseek
    • 5.测试使用

在这里插入图片描述

人人都该学习的DeepSeek

DeepSeek 作为一款先进的人工智能工具,具备强大的推理能力和广泛的应用场景,能够帮助用户高效解决复杂问题。它支持文本生成、代码编写、数据分析、情感分析等多种任务,适用于教育、医疗、金融、创意等各行各业。它的开源特性使得个人和企业能够低成本地利用其功能,推动AI技术的普及。无论是提升工作效率、辅助学习,还是解决生活中的问题,DeepSeek 都能提供智能化支持。

DeepSeek不同版本功能差异

版本特点适用场景
1.5B轻量级模型,参数量少,推理速度快,适合低资源环境。短文本生成、基础问答、移动端应用(如简单智能助手)。
7B平衡型模型,性能与资源需求适中,支持中等复杂度任务。文案撰写、表格处理、统计分析、简单代码生成。
8B性能略强于7B,优化逻辑推理和代码生成。代码生成、逻辑推理(如数学题解决)、中等复杂度文本生成。
14B高性能模型,擅长复杂任务(如数学推理、长文本生成)。数据分析、长文本生成(如研究报告)、多模态任务预处理。
32B专业级模型,支持高精度任务和大规模数据处理。语言建模、金融预测、复杂病例分析(医疗场景)。
70B顶级模型,多模态任务支持,科研级分析能力。高精度临床决策(医疗)、多模态数据分析、前沿科学研究。
671B超大规模基础模型,最高准确性和推理速度,支持国家级研究。气候建模、基因组分析、通用人工智能探索。

注:671B是我们常说的满血版deepseek。

​关键点

​1. 输入输出

  • ​短文本处理​(1.5B-7B):最大支持16k tokens,适合对话和短文生成。
  • ​长文本处理​(32B+):32k-10M tokens,可处理整本书籍或科研论文。
  • ​多模态支持:32B及以上版本实验性支持图文混合输入,671B版本实现视频流解析。

​2. 推理计算

  • ​数学能力:7B版本仅支持四则运算,32B版本可解微积分方程(准确率92%)。
  • ​代码生成:7B生成单文件脚本,14B支持全栈项目架构设计(含单元测试)。

​3. 部署

  • ​量化支持:1.5B支持8-bit量化(体积压缩至400MB),70B需保留FP16精度。
  • ​分布式训练:70B版本支持千卡并行训练(吞吐量1.2 exaFLOPs),671B版本兼容量子计算节点。

DeepSeek与硬件直接的关系

参数推荐显卡型号显存要求内存存储适用场景
1.5BNVIDIA RTX 30604-8GB8GB+3GB+ SSD低资源设备部署、简单对话
7BNVIDIA RTX 3070/40608GB+16GB+8GB+ NVMe SSD本地开发测试、中小型企业任务
8BNVIDIA RTX 30908GB+16GB+8GB+ NVMe SSD高精度轻量级任务
14BNVIDIA RTX 309016GB+32GB+15GB+ NVMe SSD企业级复杂任务、专业咨询
32BNVIDIA A100 40GB24GB+64GB+30GB+ NVMe SSD高精度专业领域任务
70BNVIDIA A100 80GB 多卡≥40GB(多卡)128GB+70GB+ NVMe SSD企业级复杂任务处理、科研
671BNVIDIA H100/HGX 集群640GB(8卡并行)512GB+400GB+ NVMe SSD超大规模科研计算、国家级项目

注:32B是一个分水岭,从该版本开始对硬件要求开始急速升高。

DeepSeek系统兼容性

操作系统兼容性与性能问题与风险工具与部署建议
Windows支持轻量级至中型模型(如7B-32B量化版)底层架构限制可能导致闪退或延迟,需关闭后台程序、更新显卡驱动推荐使用Ollama进行一键部署,结合任务管理器监控资源占用,性能较Linux低10%-15%
Linux适配全版本模型(含70B+超算级部署)需注意安全防护(88.9%未防护服务器存在漏洞风险)通过LMDeploy优化推理速度,SGLang实现多模型协同,建议Ubuntu系统,性能最优 且支持分布式计算
Mac仅支持1.5B-8B轻量模型,依赖M系列芯片NPU加速(如M2 Ultra)模型选择受限,复杂任务响应延迟显著(生成速度约2-3 tokens/秒)必须通过Ollama进行4-bit量化压缩,优先使用Metal框架加速

注:部署时Linux系统最优。

部署方式选择

  1. 优先选 Ollama 的场景
    • 快速原型开发、个人项目测试
    • 硬件资源有限(如无高端 GPU)
    • 无需复杂参数调优
  2. 优先选直接部署的场景
    • 企业级服务需高并发、低延迟响应
    • 需定制模型或优化底层计算(如 FP8 加速、MOE 负载均衡)
    • 对数据隐私和合规性要求极高

部署步骤(Ollama方式)

1.选定适合的deepseek版本

按照自己的需求选取合适的deepseek版本,可参照上文的表格内容。
选择的依据主要是:

  • 使用场景
  • 功能需要
  • 硬件限制
  • 成本要求

2.环境准备

准备好Ubuntu系统,deepseek推荐使用Ubuntu20.04及以上版本。当前示例使用的是Ubuntu18.04版本。

当前配置情况:

  • CPU:16核心
  • 内存:64Gb
  • 硬盘:128Gb
  • GPU:RTX 4090

显卡驱动准备
准备好裸机后首先更新系统:

sudo add-apt-repository ppa:graphics-drivers/ppa #18.04版本较旧,需要加上新的驱动
sudo apt update && sudo apt upgrade -y  # 更新系统包
sudo apt install nvidia-driver-535  # 安装NVIDIA驱动

安装好显卡驱动后,确认显卡运行情况:

nvidia-smi

如图所示是驱动完成。
在这里插入图片描述

CUDA环境准备

sudo apt update
sudo apt install nvidia-cuda-toolkit

3.安装Ollama

安装Ollama:

curl -fsSL https://ollama.ai/install.sh | sh  # 执行官方安装脚本

启用Ollama:

sudo systemctl start ollama  # 启动服务
ollama --version  # 输出版本号即成功

可能的问题:

1.如果下载Ollama网络慢导致异常中断,可能如下所示:

curl: (16) Error in the HTTP2 framing layer
gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now

解决方案:

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
chmod +x ollama_install.sh
sudo ./ollama_install.sh

4.部署deepseek

ollama pull deepseek-r1:14b  # 下载14B参数版本

整个过程需要一些时间:
在这里插入图片描述
在这里插入图片描述

5.测试使用

测试deepseek运行情况:

ollama run deepseek-r1:14b

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2311189.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

升级到Android Studio 2024.2.2 版本遇到的坑

一、上来就编译报错,大概率是因为选择了替换安装,本地配置文件出错 找到本地当前版本的配置文件,删掉,重启studio就好了: 1、打开终端 2、“cd /Users/用户名/Library/Application\ Support/Google” //到Google目录 …

【ESP-ADF】在 VSCode 安装 ESP-ADF 注意事项

1.检查网络 如果您在中国大陆安装,请使用魔法上网,避免无法 clone ESP-ADF 仓库。 2.VSCode 安装 ESP-ADF 在 VSCode 左侧活动栏选择 ESP-IDF:explorer,展开 advanced 并点击 Install ESP-ADF 然后会出现选择 ESP-ADF 安装目录。 如果出现…

我的两个医学数据分析技术思路

我的两个医学数据分析技术思路 从临床上获得的或者公共数据库数据这种属于观察性研究,是对临床诊疗过程中自然产生的数据进行分析而获得疾病发生发展的规律等研究成果。再细分,可以分为独立危险因素鉴定和预测模型构建两种。 独立危险因素鉴定是一直以…

FPGA-DE2115开发板实现4位全加器、3-8译码器。

文章目录 一、安装quartus二、4位全加器三、3-8译码器(8段数码管)四、参考文章 一、安装quartus 安装quartus参考文章:Quartus Prime 18.0与ModelSim的安装 Quartus II 18.0安装教程(非常详细)从零基础入门到精通&…

Pytorch xpu环境配置 Pytorch使用Intel集成显卡

1、硬件集显要为Intel ARC并安装正确驱动 2、安装Intel oneAPI Base Toolkit (https://www.intel.cn/content/www/cn/zh/developer/tools/oneapi/base-toolkit-download.html)安装后大约20G左右,注意安装路径 3、安装Visual Studio Build To…

uploadlabs通关思路

目录 靶场准备 复现 pass-01 代码审计 执行逻辑 文件上传 方法一:直接修改或删除js脚本 方法二:修改文件后缀 pass-02 代码审计 文件上传 1. 思路 2. 实操 pass-03 代码审计 过程: 文件上传 pass-04 代码审计 文件上传 p…

优选算法的智慧之光:滑动窗口专题(二)

专栏:算法的魔法世界​​​​​​ 个人主页:手握风云 目录 一、例题讲解 1.1. 最大连续1的个数 III 1.2. 找到字符串中所有字母异位词 1.3. 串联所有单词的子串 1.4. 最小覆盖子串 一、例题讲解 1.1. 最大连续1的个数 III 题目要求是二进制数组&am…

【蓝桥杯单片机】第十二届省赛

一、真题 二、模块构建 1.编写初始化函数(init.c) void Cls_Peripheral(void); 关闭led led对应的锁存器由Y4C控制关闭蜂鸣器和继电器 由Y5C控制 2.编写LED函数(led.c) void Led_Disp(unsigned char ucLed); 将ucLed取反的值赋给P0 开启锁存器…

剑指 Offer II 047. 二叉树剪枝

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20047.%20%E4%BA%8C%E5%8F%89%E6%A0%91%E5%89%AA%E6%9E%9D/README.md 剑指 Offer II 047. 二叉树剪枝 题目描述 给定一个二叉树 根节点 root ,树的每…

第5章:vuex

第5章:vuex 1 求和案例 纯vue版2 vuex工作原理图3 vuex案例3.1 搭建vuex环境错误写法正确写法 3.2 求和案例vuex版细节分析源代码 4 getters配置项4.1 细节4.2 源代码 5 mapState与mapGetters5.1 总结5.2 细节分析5.3 源代码 6 mapActions与mapMutations6.1 总结6.2…

视觉在协作机器人上的场景应用

看了UR、ABB等协作机器人公司的一些视觉方面的应用,总结大概有下面几个方面。 1.工业制造领域 3C 产品生产 外观检测:可精确检测电子元件的划痕、污渍、凹陷等外观缺陷,如手机屏幕的微小划痕、芯片表面的瑕疵等,确保产品高质量&a…

MyBatis-Plus开发流程:Spring Boot + MyBatis-Plus 实现对 book_tab 表的增删改查及Redis缓存

前言 MyBatis-Plus 是一个 MyBatis 的增强工具,旨在简化开发、减少工作量。本文将介绍如何使用 Spring Boot 集成 MyBatis-Plus 来操作数据库,并结合 Redis 实现数据的缓存功能。 1项目搭建 1.1 创建 Spring Boot 项目 可以通过 Spring Initializr 快…

从开源大模型工具Ollama存在安全隐患思考企业级大模型应用如何严守安全红线

近日,国家网络安全通报中心通报大模型工具Ollama默认配置存在未授权访问与模型窃取等安全隐患,引发了广泛关注。Ollama作为一款开源的大模型管理工具,在为用户提供便捷的同时,却因缺乏有效的安全管控机制,存在数据泄露…

通过Docker搭个游戏——疯狂大陆(Pkland)

最近在研究我的服务器,在服务器上搭了很多docker的项目,然后找着找着发现一个能用Docker配置环境的游戏叫Pkland。 项目地址:GitHub - popkarthb/pkland: 疯狂大陆是一款多人在线的战略游戏。 游戏操作简捷,您仅需要使用浏览器就可以在任何时…

hive之LEAD 函数详解

1. 函数概述 LEAD 是 Hive 中的窗口函数,用于获取当前行之后指定偏移量处的行的值。常用于分析时间序列数据、计算相邻记录的差异或预测趋势。 2. 语法 LEAD(column, offset, default) OVER ([PARTITION BY partition_column] [ORDER BY order_column [ASC|DESC]…

springboot429-基于springboot的教务管理系统(源码+数据库+纯前后端分离+部署讲解等)

💕💕作者: 爱笑学姐 💕💕个人简介:十年Java,Python美女程序员一枚,精通计算机专业前后端各类框架。 💕💕各类成品Java毕设 。javaweb,ssm&#xf…

linux磁盘非lvm分区

linux磁盘非lvm分区 类似于windows划分C盘、D盘,并且不需要多个磁盘空间合一 图形化直接分区 通过gparted 这个提供直观的图形化分区,类似windows的磁盘管理工具 下载方式: 乌班图/debian系列: sudo apt install gparted红帽…

Linux:文件描述符与重定向

目录 一、文件描述符 1.文件内核对象 2.文件描述符分配原则 二、文件重定向 1.重定向的现象 输出重定向 输入重定向 dup2 2.重定向的使用 三、标准输出和标准错误 继上篇文章中,我们了解了fd打印的值为文件描述符,那么它还有什么作用呢&…

C# 开发工具Visual Studio下载和安装

开发环境与工具 C#的主要开发环境是Visual Studio,这是一个功能强大的集成开发环境(IDE),集成了代码编辑、调试、项目管理、版本控制等功能。此外,Visual Studio Code也是一个轻量级的跨平台代码编辑器,支…

网络安全ctf试题 ctf网络安全大赛真题

MISC 1 签到 难度 签到 复制给出的flag输入即可 2 range_download 难度 中等 flag{6095B134-5437-4B21-BE52-EDC46A276297} 0x01 分析dns流量,发现dns && ip.addr1.1.1.1存在dns隧道数据,整理后得到base64: cGFzc3dvcmQ6IG5zc195eWRzIQ 解…