Ubuntu20.04 本地部署 DeepSeek-R1

news2025/3/9 23:41:32

一、下载ollama

打开 ollama链接,直接终端运行提供的命令即可。如获取的命令如下:

curl -fsSL https://ollama.com/install.sh | sh

在这里插入图片描述确保是否安装成功可在终端输入如下命令:

ollama -v

在这里插入图片描述

注意: 如遇到Failed to connect to github.com port 443: Connection timed out ,一种简便方法是:改host sudo vim /etc/hosts ,添加内容如下:

 140.82.112.3 github.com
 199.232.5.194 github.global.ssl.fastly.net
 54.231.114.219 github-cloud.s3.amazonaws.com

其中,ipaddress 可获取目前github.com实际ip
在这里插入图片描述

二、下载模型

在 ollama_search 中查询所需的模型,这里需要下载DeepSeeK-R1模型,所以在搜索框中输入“deepseek-r1”。
在这里插入图片描述

打开第一个链接,在左侧标有7b的选项为模型的版本,数字越大模型越大效果更好,但对应所需要的计算机的性能更强,具体参数可以对应下方表格。因为自己显存较低,所以使用1.5b,大家可以根据自己电脑配置选择。
在这里插入图片描述

模型版本参数量内存需求(RAM)显存需求(训练)显存需求(推理)推荐GPU配置典型应用场景注意事项
1.5B1.5B4-8GB6-8GB3-4GB单卡RTX 3090/4090移动端应用、嵌入式设备、简单对话支持低精度量化(4bit/8bit)
7B7B16-32GB24-32GB12-16GB单卡A100 40GB通用对话、文本生成需启用激活检查点节省显存
8B8B20-40GB28-36GB14-18GB单卡A100 40GB多语言处理、中等复杂度推理推荐使用FlashAttention优化
14B14B32-64GB48-64GB24-32GB2*A100 40GB(张量并行)复杂对话、知识问答需张量并行策略
32B32B64-128GB80-120GB40-60GB4*A100 80GB(流水线并行)专业领域分析、长文本生成推荐使用ZeRO-3优化
70B70B128-256GB160-240GB80-120GB8*A100 80GB(混合并行)复杂代码生成、学术研究需组合张量+流水线+数据并行
671B671B1TB+1.5-2TB800GB-1.2TB64*A100/H100(多节点分布式)超大规模预训练、战略级AI系统需定制化分布式框架支持

在左侧选好版本后,右侧即会显示一条命令,将该命令输入在命令框中即可,因为选择下载1.5b,则命令为:

ollama run deepseek-r1:1.5b

指令执行完后即可使用该模型:
在这里插入图片描述如果需要关闭模型即可使用Ctrl + d 或键盘输入/bye 即可,如需再次启动,那么在命令行中输入ollama run deepseek-r1:1.5b即可。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2294425.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2025年2月6日笔记

第 12 届蓝桥杯 C 青少组中 / 高级组选拔赛( STEMA ) 2020 年 11 月 22 日 真题第一题 解题思路: 第一:因为有整数集合的求和字样(所以用for循环来做) 第二:题中让我们累加1到N,所…

Linux: 网络基础

1.协议 为什么要有协议:减少通信成本。所有的网络问题,本质是传输距离变长了。 什么是协议:用计算机语言表达的约定。 2.分层 软件设计方面的优势—低耦合。 一般我们的分层依据:功能比较集中,耦合度比较高的模块层…

CSS 背景与边框:从基础到高级应用

CSS 背景与边框:从基础到高级应用 1. CSS 背景样式1.1 背景颜色示例代码:设置背景颜色 1.2 背景图像示例代码:设置背景图像 1.3 控制背景平铺行为示例代码:控制背景平铺 1.4 调整背景图像大小示例代码:调整背景图像大小…

大学资产管理系统中的下载功能设计与实现

大学资产管理系统是高校信息化建设的重要组成部分,它负责记录和管理学校内所有固定资产的信息。随着信息技术的发展,下载功能成为提高资产管理效率的关键环节之一。 系统架构的设计是实现下载功能的基础。一个良好的系统架构能够确保数据的高效传输和存储…

园区网设计与实战

想做一个自己学习的有关的csdn账号,努力奋斗......会更新我计算机网络实验课程的所有内容,还有其他的学习知识^_^,为自己巩固一下所学知识。 我是一个萌新小白,有误地方请大家指正,谢谢^_^ 文章目录 前言 这个实验主…

DeepSeek-R1 本地电脑部署 Windows系统 【轻松简易】

本文分享在自己的本地电脑部署 DeepSeek,而且轻松简易,快速上手。 这里借助Ollama工具,在Windows系统中进行大模型部署~ 1、安装Ollama 来到官网地址:Download Ollama on macOS 点击“Download for Windows”下载安装包&#x…

AI绘画:解锁商业设计新宇宙(6/10)

1.AI 绘画:商业领域的潜力新星 近年来,AI 绘画技术以惊人的速度发展,从最初简单的图像生成,逐渐演变为能够创造出高度逼真、富有创意的艺术作品。随着深度学习算法的不断优化,AI 绘画工具如 Midjourney、Stable Diffu…

保姆级教程:利用Ollama与Open-WebUI本地部署 DeedSeek-R1大模型

1. 安装Ollama 根据自己的系统下载Ollama,我的是Linux,所以我使用如下命令进行下载安装: curl -fsSL https://ollama.com/install.sh | sh2. 安装Open-WebUI 使用 Docker 的方式部署 open-webui ,使用gpu的话按照如下命令进行 …

Kafka 可靠性探究—副本刨析

Kafka 的多副本机制提升了数据容灾能力。 副本通常分为数据副本与服务副本。数据副本是指在不同的节点上持久化同一份数据;服务副本指多个节点提供同样的服务,每个节点都有能力接收来自外部的请求并进行相应的处理。 1 副本刨析 1.1 相关概念 AR&…

openwebui入门

1 简介 ‌Open WebUI‌(网址是openwebui.com)是一个高度可扩展、功能强大且用户友好的自托管Web用户界面,专为完全离线操作设计,编程语言是python。它支持对接Ollama和OpenAI兼容的API的大模型。‌ Open WebUI‌在架构上是一种中…

Windows下怎么安装FFFmpeg呢?

在Windows下使用Open-webui报错,说Couldnt find ffmpeg or avconv,解决open-webui报错Couldn‘t find ffmpeg or avconv-CSDN博客于是尝试解决问题,那么Windows下怎么安装FFFmpeg呢? 尝试了两种方法。 第一种方法pip安装(失败&…

无公网IP 外网访问 Jupyter Notebook

Jupyter Notebook 是一个开源的Web应用程序,允许用户创建和共享包含实时代码、方程式、可视化和叙述文本的文档。它支持超过40种编程语言。 本文将详细的介绍如何用 Docker 在本地安装部署 Jupyter Notebook,并结合路由侠内网穿透实现外网访问本地部署的…

C语言按位取反【~】详解,含原码反码补码的0基础讲解【原码反码补码严格意义上来说属于计算机组成原理的范畴,不过这也是学好编程初级阶段的必修课】

目录 概述【适合0基础看的简要描述】: 上述加粗下划线的内容提取版: 从上述概述中提取的核心知识点,需背诵: 整数【包含整数,负整数和0】的原码反码补码相互转换的过程图示: 过程详细刨析:…

基于 .NET 8.0 gRPC通讯架构设计讲解,客户端+服务端

目录 1.简要说明 2.服务端设计 2.1 服务端创建 2.2 服务端设计 2.3 服务端业务模块 3.客户端设计-控制台 4.客户端设计-Avalonia桌面程序 5.客户端设计-MAUI安卓端程序 1.简要说明 gRPC 一开始由 google 开发,是一款语言中立、平台中立、开源的远程过程调用…

Java实习生面试题汇总

Java实习生面试题汇总 简介 本人是二本大三学生,下半年大四。暑假在上海这边找实习工作,面了几家公司,所问到的问题记录在下面。 因为是在校生,没任何实习经历,一般找我面试的都是小公司,一般问的比较简…

Java 如何覆盖第三方 jar 包中的类

目录 一、需求描述二、示例描述三、操作步骤四、验证结果五、实现原理 背景: 在我们日常的开发中,经常需要使用第三方的 jar 包,有时候我们会发现第三方的 jar 包中的某一个类有问题,或者我们需要定制化修改其中的逻辑&#xff0c…

深度学习系列--04.梯度下降以及其他优化器

目录 一.梯度概念 1.一元函数 2.二元函数 3.几何意义上的区别 二.梯度下降 1.原理 2.步骤 3.示例代码(Python) 4.不同类型的梯度下降 5.优缺点 三.动量优化器(Momentum) 适用场景 1.复杂地形的优化问题 2.数据具有噪声的问…

【C语言篇】“三子棋”

一、游戏介绍 三子棋,英文名为 Tic - Tac - Toe,是一款简单而经典的棋类游戏。游戏在一个 33 的棋盘上进行,两名玩家轮流在棋盘的空位上放置自己的棋子(通常用 * 和 # 表示),率先在横、竖或斜方向上连成三个…

TongSearch3.0.4.0安装和使用指引(by lqw)

文章目录 安装准备手册说明支持的数据类型安装控制台安装单节点(如需集群请跳过这一节)解压和启动开启X-Pack Security和生成p12证书(之后配置内置密码和ssl要用到)配置内置用户密码配置ssl(先配置内置用户密码再配ssl)配置控制台…

在本地顺利的部署一个al模型从零开始 windows

引言 (踩的坑,省流引言的内容没有有使模型跑起来) 最近想在本地部署一个deepseek模型,就在网上搞了3 4天终于是能够部署下来了,在部署的时候也是成功的踩了无数的坑,比如我先问al如何在本地部署一个语言模…