DeepSeek-R1本地化部署(Mac)

news2025/3/9 14:04:17

一、下载 Ollama

本地化部署需要用到 Ollama,它能支持很多大模型。官方网站:https://ollama.com/

点击 Download 即可,支持macOS,Linux 和 Windows;我下载的是 mac 版本,要求macOS 11 Big Sur or later,Ollama是跳转到github去下载的,如果下载不了可能要借助科学上网。

下载的是个压缩包,直接双击就可以解压出Ollama.app,点击运行即可安装

安装成功之后,ollama会在后台运行,启动命令行,输入ollama

出现以上页面即表示安装成功

二、下载DeepSeek-R1

还是进入ollama.com的页面,点击Models

下载deepseek-r1,

deepseek-r1有很多个版本,1.5b,7b,8b,14b,32b,70b,671b,分别代表模型不同的参数数量。

  • B = Billion(十亿参数):表示模型的参数量级,直接影响计算复杂度和显存占用。
    • DeepSeek 1.5B:15亿参数(小型模型,适合轻量级任务)
    • DeepSeek 7B:70亿参数(主流规模,平衡性能与资源)
    • DeepSeek 70B:700亿参数(高性能需求场景)
    • DeepSeek 671B:6710亿参数(超大规模,对标PaLM/GPT-4)

每个版本对应所需的内存大小都不一样,如果你电脑运行内存为8G那可以下载1.5b,7b,8b的蒸馏后的模型;如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型,我这里选择14b的模型。

使用ollama run deepseek-r1:14b 进行下载,在命令行里面输入:

ollama run deepseek-r1:14b

使用ollama list 查看是否成功下载了模型

输入ollama run deepseek-r1:14b运行模型,启动成功后,就可以输入我们想问的问题,模型首先会进行深度思考(也就是think标签包含的地方),思考结束后会反馈我们问题的结果。在>>>之后输入想要咨询的 问题,模型回答的速度取决电脑的性能。

使用快捷键Ctrl + d 或者在>>>之后输入 /bye即可退出对话模式。

## 删除模型
ollama rm deepseek-r1:14b
## 停止模型
ollama stop deepseek-r1:14b

三、web页面的访问

我们通过ollama下载模型后,可以在命令行使用deepseek了,但是命令行的形式还是有些不友好,我们可以借助chatBox,或者Open-WebUI,只要接入ollama的Api就可以使用了。

1、Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。它支持各种LLM运行程序,如Ollama和OpenAI兼容的API,内置RAG推理引擎,使其成为一个强大的AI部署解决方案,本地需要安装Python3(版本3.11~3.13以下)。

安装 Open-WebUI需要使用pip进行安装,安装需要一定时间

pip install open-webui
### 如网络太差,可以使用国内的镜像下载
pip install open-webui -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

如果 pip 版本较低,可以更新下

python3 -m pip install --upgrade pip

使用如下命令启动open-webui服务,启动需要一定时间

open-webui serve

后使用浏览器输入http://127.0.0.1:8080/登录服务,注意端口的占用冲突,页面如下:

点击开始使用,第一次使用需要注册用户名、邮件以及密码,这都是存在本地的,可以放心填写。

注册完毕后,如果本地已经运行了deepseek-r1,它可以自动识别本地已经安装的deepseek r1大模型,

在对话框里面输入内容,即可与deepseek-r1展开对话

2、ChatBox

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

我这里下载的mac版本,成功安装启动后,点击左下角的设置

模型提供方选择Ollama API

模型选择本地部署好的deepseek-r1:14b,点击保存,即可以开始对话

最后:蒸馏模型不同规格的选择,需要结合自己电脑的配置来选择,不合适的模型会导致电脑过载,对话回答的速度和效果问题都会很差。我电脑内存16GB,以为14b能扛得住,结果安装之后,对话巨慢!后面安装了8b,运行起来速度就快多了,但是通过页面的返回速度会变慢。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2312173.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java面试第九山!《SpringBoot框架》

引言 你是否经历过这样的场景?想快速开发一个Java Web应用,却被XML配置、依赖冲突、服务器部署搞得焦头烂额。Spring Boot的诞生,正是为了解决这些"配置地狱"问题。 对比项Spring Boot传统 Spring配置复杂度自动配置,…

视频理解开山之作 “双流网络”

1 论文核心信息 1.1核心问题 任务:如何利用深度学习方法进行视频中的动作识别(Action Recognition)。挑战: 视频包含时空信息,既需要捕捉静态外观特征(Spatial Information),也需要…

基于Matlab的人脸识别的二维PCA

一、基本原理 传统 PCA 在处理图像数据时,需将二维图像矩阵拉伸为一维向量,这使得数据维度剧增,引发高计算成本与存储压力。与之不同,2DPCA 直接基于二维图像矩阵展开运算。 它着眼于图像矩阵的列向量,构建协方差矩阵…

考研数一非数竞赛复习之Stolz定理求解数列极限

在非数类大学生数学竞赛中,Stolz定理作为一种强大的工具,经常被用来解决和式数列极限的问题,也被誉为离散版的’洛必达’方法,它提供了一种简洁而有效的方法,使得原本复杂繁琐的极限计算过程变得直观明了。本文&#x…

Java在小米SU7 Ultra汽车中的技术赋能

目录 一、智能驾驶“大脑”与实时数据 场景一:海量数据的分布式计算 场景二:实时决策的毫秒级响应 场景三:弹性扩展与容错机制 技术隐喻: 二、车载信息系统(IVI)的交互 场景一:Android Automo…

DeepSeek R1-7B 医疗大模型微调实战全流程分析(全码版)

DeepSeek R1-7B 医疗大模型微调实战全流程指南 目录 环境配置与硬件优化医疗数据工程微调策略详解训练监控与评估模型部署与安全持续优化与迭代多模态扩展伦理与合规体系故障排除与调试行业应用案例进阶调优技巧版本管理与迭代法律风险规避成本控制方案文档与知识传承1. 环境配…

网络安全技术和协议(高软43)

系列文章目录 网络安全技术和协议 文章目录 系列文章目录前言一、网络安全技术1.防火墙2.入侵检测系统IDS3.入侵防御系统IPS 二、网络攻击和威胁三、网络安全协议四、真题在这里插入图片描述 总结 前言 本节讲明网络安全技术和协议方面的相关知识。 一、网络安全技术 1.防火…

K8S学习之基础十七:k8s的蓝绿部署

蓝绿部署概述 ​ 蓝绿部署中,一共有两套系统,一套是正在提供服务的系统,一套是准备发布的系统。两套系统都是功能完善、正在运行的系统,只是版本和对外服务情况不同。 ​ 开发新版本,要用新版本替换线上的旧版本&…

【网络】TCP常考知识点详解

TCP报文结构 TCP报文由**首部(Header)和数据(Data)**两部分组成。首部包括固定部分(20字节)和可选选项(最多40字节),总长度最大为60字节。 1. 首部固定部分 源端口&…

LeetCode1137 第N个泰波那契数

泰波那契数列求解:从递归到迭代的优化之路 在算法的世界里,数列问题常常是我们锻炼思维、提升编程能力的重要途径。今天,让我们一同深入探讨泰波那契数列这一有趣的话题。 泰波那契数列的定义 泰波那契序列 Tn 有着独特的定义方式&#xf…

六十天前端强化训练之第十四天之深入理解JavaScript异步编程

欢迎来到编程星辰海的博客讲解 目录 一、异步编程的本质与必要性 1.1 单线程的JavaScript运行时 1.2 阻塞与非阻塞的微观区别 1.3 异步操作的性能代价 二、事件循环机制深度解析 2.1 浏览器环境的事件循环架构 核心组件详解: 2.2 执行顺序实战分析 2.3 Nod…

利用EasyCVR平台打造化工园区视频+AI智能化监控管理系统

化工园区作为化工产业的重要聚集地,其安全问题一直是社会关注的焦点。传统的人工监控方式效率低下且容易出现疏漏,已经难以满足日益增长的安全管理需求。 基于EasyCVR视频汇聚平台构建的化工园区视频AI智能化应用方案,能够有效解决这些问题&…

【VUE2】第三期——样式冲突、组件通信、异步更新

目录 1 scoped解决样式冲突 2 data写法 3 组件通信 3.1 父子关系 3.1.1 父向子传值 props 3.1.2 子向父传值 $emit 3.2 非父子关系 3.2.1 event bus 事件总线 3.2.2 跨层级共享数据 provide&inject 4 props 4.1 介绍 4.2 props校验完整写法 5 v-model原理 …

深度学习分类回归(衣帽数据集)

一、步骤 1 加载数据集fashion_minst 2 搭建class NeuralNetwork模型 3 设置损失函数,优化器 4 编写评估函数 5 编写训练函数 6 开始训练 7 绘制损失,准确率曲线 二、代码 导包,打印版本号: import matplotlib as mpl im…

在Linux中开发OpenGL——检查开发环境对OpenGL ES的支持

由于移动端GPU规模有限,厂商并没有实现完整的OpenGL特性,而是实现了它的子集——OpenGL ES。因此如果需要开发的程序要支持移动端平台,最好使用OpenGL ES开发。 1、 下载支持库、OpenGL ES Demo 1.1、下载PowerVRSDK支持库作为准备&#xff…

基于Spring Boot的学院商铺管理系统的设计与实现(LW+源码+讲解)

专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…

os-copilot安装和使用体验测评

简介: OS Copilot是阿里云基于大模型构建的Linux系统智能助手,支持自然语言问答、命令执行和系统运维调优。本文介绍其产品优势、功能及使用方法,并分享个人开发者在云服务器资源管理中的实际应用体验。通过-t/-f/管道功能,OS Cop…

Geo3D建筑材质切换+屋顶纹理

一、简介 基于Threejs开发封装建筑渲染管线,利用简单二维建筑矢量面轮廓程序化生成3D建筑,支持材质一键切换,支持多样化建筑墙面材质和屋顶材质,支持建筑透明,支持地形高程适配,支持按空间范围裁剪挖洞等。…

【GPT入门】第9课 思维树概念与原理

【GPT入门】第9课 思维树概念与原理 1.思维树概念与原理2. 算24游戏的方法 1.思维树概念与原理 思维树(Tree of Thought,ToT )是一种大模型推理框架,旨在解决更加复杂的多步骤推理任务,让大模型能够探索多种可能的解决…

栈概念和结构

文章目录 1. 栈的概念2. 栈的分类3. 栈的实现(数组栈)3.1 接口设计(Stack.h)3.2 接口实现(Stack.c)1)初始化销毁2)栈顶插入删除3)栈顶元素、空栈、大小 3.3 完整代码Stac…