本地部署deepseek模型步骤

news2025/1/30 11:10:31

文章目录

    • 0.deepseek简介
    • 1.安装ollama软件
    • 2.配置合适的deepseek模型
    • 3.安装chatbox可视化

0.deepseek简介

DeepSeek 是一家专注于人工智能技术研发的公司,致力于打造高性能、低成本的 AI 模型,其目标是让 AI 技术更加普惠,让更多人能够用上强大的 AI 工具1。DeepSeek 由幻方量化孵化,成立于2023年4月,是一家创新型科技公司,专注于开发先进的大语言模型(LLM)和相关技术。DeepSeek 推出的大模型在技术圈与投资界突然“爆火”,成立仅一年多的深度求索(DeepSeek)公司于1月20日推出其新一代大模型R1,性能显示出与OpenAI的最新版本相当的潜力,却在训练成本上实现了大幅度降低。2

DeepSeek-R1 是 DeepSeek 推出的推理大模型,它在数学、代码、自然语言推理等任务上的性能可以比肩 OpenAI 的 o1 模型正式版3。DeepSeek-R1 的成功预示着中国在人工智能模型研发方面取得了从模仿到超越的重要突破。DeepSeek-R1 的预训练费用只有557.6万美元,在2048块英伟达H800 GPU集群上运行55天完成4。DeepSeek 还因其新发布的开源模型 R1 在性能和成本效率上的突破性表现,引发了整个 AI 行业的广泛讨论。5

1.安装ollama软件

1.进入ollama官网,下载适合自己计算机版本的安装包(大约3min),我这里下载的是windows版本。

在这里插入图片描述
在这里插入图片描述

下载好之后如下图所示:
在这里插入图片描述

2.安装ollama软件。点击下载好的.exe文件,然后点击Install,默认安装在C盘(后期可以自己转移位置,详见文章:将ollama迁移到其他盘
在这里插入图片描述

3.打开ollama软件,电脑右下角会出现这样的图标:

在这里插入图片描述

2.配置合适的deepseek模型

  1. 在ollama官网中点击Models,点击deepseek-r1,根据自己电脑选择不同版本的模型,复制后面的那句命令。

    在这里插入图片描述在这里插入图片描述

  2. win+R然后输入cmd,调出命令行窗口。

  3. 输入命令ollama -v 查看ollama的版本,确保ollama软件已经在运行状态,才能进行后面的操作。

  4. 将刚才复制的命令复制到命令行窗口,点击回车即可。

    在这里插入图片描述

  5. 当进度条到100%的时候,会出现一句话:send a message,这样就是已经部署成功14b模型了。

    可以直接在这个命令行窗口输入对话使用14b的模型。

    在这里插入图片描述

这里示范的是部署14b的模型,时间比较久,可能和网速有关系,我这边网速也比较慢,大约得有1个多小时才弄好。(会有进度条提示)

但是后来发现我的电脑太老了,部署14b之后,带不起来。

  • 我的电脑GPU是NVIDIA GeForce MX150:这款显卡性能相对有限,可能无法提供足够的计算能力来快速处理大型模型。对于 DeepSeek R1-14B 这样的大型模型,可能仍然会运行缓慢。

  • MX150 的显存通常为 2GB,这对于运行 14B 参数的模型来说是远远不够的。大型模型需要更多的显存来存储中间计算结果。

  • 所以后面我改为用7b的模型

3.安装chatbox可视化

在命令行窗口中可以使用,但是不方便,所以使用chatbox软件进行可视化操作,这样可以更加便捷的使用deepseek模型。

  1. 进入chatbox官网,下载chatbox安装包
    在这里插入图片描述

  2. 安装chatbox软件,可以自定义安装位置
    在这里插入图片描述

  3. 安装好之后自动运行chatbox软件,点击“使用自己的API KEY或本地模型”,配置刚刚部署的14b模型。

    在这里插入图片描述

    选择Ollama API选项
    在这里插入图片描述

    然后选择已经部署好的14b模型
    在这里插入图片描述

这样就把deepseek部署到本地,并且可视化使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2286395.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【deepseek】deepseek-r1本地部署-第二步:huggingface.co替换为hf-mirror.com国内镜像

一、背景 由于国际镜像国内无法直接访问,会导致搜索模型时加载失败,如下: 因此需将国际地址替换为国内镜像地址。 二、操作 1、使用vscode打开下载路径 2、全局地址替换 关键字 huggingface.co 替换为 hf-mirror.com 注意:务…

sunrays-framework配置重构

文章目录 1.common-log4j2-starter1.目录结构2.Log4j2Properties.java 新增两个属性3.Log4j2AutoConfiguration.java 条件注入LogAspect4.ApplicationEnvironmentPreparedListener.java 从Log4j2Properties.java中定义的配置读取信息 2.common-minio-starter1.MinioProperties.…

【大模型】Ollama+AnythingLLM搭建RAG大模型私有知识库

文章目录 一、AnythingLLM简介二、搭建本地智能知识库2.1 安装Ollama2.2 安装AnythingLLM 参考资料 一、AnythingLLM简介 AnythingLLM是由Mintplex Labs Inc.开发的一个全栈应用程序,是一款高效、可定制、开源的企业级文档聊天机器人解决方案。AnythingLLM能够将任…

代理模式 -- 学习笔记

代理模式学习笔记 什么是代理? 代理是一种设计模式,用户可以通过代理操作,而真正去进行处理的是我们的目标对象,代理可以在方法增强(如:记录日志,添加事务,监控等) 拿一…

JVM_类的加载、链接、初始化、卸载、主动使用、被动使用

①. 说说类加载分几步? ①. 按照Java虚拟机规范,从class文件到加载到内存中的类,到类卸载出内存为止,它的整个生命周期包括如下7个阶段: 第一过程的加载(loading)也称为装载验证、准备、解析3个部分统称为链接(Linking)在Java中数据类型分为基本数据类型和引用数据…

ProfibusDP主机与从机交互

ProfibusDP 主机SD2索要数据下发:68 08 F7 68 01 02 03 21 05 06 07 08 1C 1668:SD2 08:LE F7:LEr 68:SD2 01:目的地址 02:源地址 03:FC_CYCLIC_DATA_EXCHANGE功能码 21:数据地址 05,06,07,08&a…

Java设计模式:结构型模式→组合模式

Java 组合模式详解 1. 定义 组合模式(Composite Pattern)是一种结构型设计模式,它允许将对象组合成树形结构以表示“部分-整体”的层次。组合模式使得客户端能够以统一的方式对待单个对象和对象集合的一致性,有助于处理树形结构…

【福州市AOI小区面】shp数据学校大厦商场等占地范围面数据内容测评

AOI城区小区面样图和数据范围查看: — 字段里面有name字段。分类比较多tpye:每个值代表一个类型。比如字段type中1549代表小区住宅,1563代表学校。小区、学校等占地面积范围数据 —— 小区范围占地面积面数据shp格式 无偏移坐标,只…

【Python实现机器遗忘算法】复现2023年TNNLS期刊算法UNSIR

【Python实现机器遗忘算法】复现2023年TNNLS期刊算法UNSIR 1 算法原理 Tarun A K, Chundawat V S, Mandal M, et al. Fast yet effective machine unlearning[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023. 本文提出了一种名为 UNSIR(Un…

基于SpringBoot的阳光幼儿园管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…

【开源免费】基于SpringBoot+Vue.JS景区民宿预约系统(JAVA毕业设计)

本文项目编号 T 162 ,文末自助获取源码 \color{red}{T162,文末自助获取源码} T162,文末自助获取源码 目录 一、系统介绍二、数据库设计三、配套教程3.1 启动教程3.2 讲解视频3.3 二次开发教程 四、功能截图五、文案资料5.1 选题背景5.2 国内…

安卓逆向之脱壳-认识一下动态加载 双亲委派(一)

安卓逆向和脱壳是安全研究、漏洞挖掘、恶意软件分析等领域的重要环节。脱壳(unpacking)指的是去除应用程序中加固或保护措施的过程,使得可以访问应用程序的原始代码或者数据。脱壳的重要性: 分析恶意软件:很多恶意软件…

马尔科夫模型和隐马尔科夫模型区别

我用一个天气预报和海藻湿度观测的比喻来解释,保证你秒懂! 1. 马尔可夫模型(Markov Model, MM) 特点:状态直接可见 场景:天气预报(晴天→雨天→阴天…)核心假设: 下一个…

Python NumPy(7):连接数组、分割数组、数组元素的添加与删除

1 连接数组 函数描述concatenate连接沿现有轴的数组序列stack沿着新的轴加入一系列数组。hstack水平堆叠序列中的数组(列方向)vstack竖直堆叠序列中的数组(行方向) 1.1 numpy.concatenate numpy.concatenate 函数用于沿指定轴连…

【LLM】deepseek多模态之Janus-Pro和JanusFlow框架

note 文章目录 note一、Janus-Pro:解耦视觉编码,实现多模态高效统一技术亮点模型细节 二、JanusFlow:融合生成流与语言模型,重新定义多模态技术亮点模型细节 Reference 一、Janus-Pro:解耦视觉编码,实现多模…

2000-2021年 全国各地级市专利申请与获得情况、绿色专利申请与获得情况数据

2000-2021年 全国各地级市专利申请与获得情况、绿色专利申请与获得情况数据.ziphttps://download.csdn.net/download/2401_84585615/89575931 https://download.csdn.net/download/2401_84585615/89575931 2000至2021年,全国各地级市的专利申请与获得情况呈现出显著…

51单片机(STC89C52)开发:点亮一个小灯

软件安装: 安装开发板CH340驱动。 安装KEILC51开发软件:C51V901.exe。 下载软件:PZ-ISP.exe 创建项目: 新建main.c 将main.c加入至项目中: main.c:点亮一个小灯 #include "reg52.h"sbit LED1P2^0; //P2的…

240. 搜索二维矩阵||

参考题解:https://leetcode.cn/problems/search-a-2d-matrix-ii/solutions/2361487/240-sou-suo-er-wei-ju-zhen-iitan-xin-qin-7mtf 将矩阵旋转45度,可以看作一个二叉搜索树。 假设以左下角元素为根结点, 当target比root大的时候&#xff…

反向代理模块b

1 概念 1.1 反向代理概念 反向代理是指以代理服务器来接收客户端的请求,然后将请求转发给内部网络上的服务器,将从服务器上得到的结果返回给客户端,此时代理服务器对外表现为一个反向代理服务器。 对于客户端来说,反向代理就相当于…

【Linux权限】—— 于虚拟殿堂,轻拨密钥启华章

欢迎来到ZyyOvO的博客✨,一个关于探索技术的角落,记录学习的点滴📖,分享实用的技巧🛠️,偶尔还有一些奇思妙想💡 本文由ZyyOvO原创✍️,感谢支持❤️!请尊重原创&#x1…