使用Ollama本地部署deepseek

news2025/2/11 9:41:14

1、下载安装Ollama

前往下载页面

https://ollama.com/download

下载好安装包,如同安装软件一样,直接安装即可
win中默认为C盘,如果需要修改到其他盘,查找具体教程
运行list命令,检查是否安装成功
在这里插入图片描述

2、修改模型下载的位置

各种不同的模型往往占据空间更大,因此选择一个空间足够的位置非常有必要
退出Ollama,打开任务管理器,清除当前Ollama程序
在这里插入图片描述

选择合适位置,创建模型存储的目标文件夹
添加文件夹到环境变量中
变量名固定为,文件夹根据自己情况定

OLLAMA_MODELS

在这里插入图片描述

3、拉取、运行模型命令

打开powershell运行如下命令即可

ollama run deepseek-r1:1.5b

在命令 ollama run deepseek-r1:1.5b 中,1.5b 的部分代表的是模型的大小,具体来说:

  • “b” 是 billion(十亿)的缩写。这里的 1.5b 表示模型的参数量大约为 1.5 billion(15亿)个参数。
  • 这种命名方式通常用于区分不同大小的模型。例如,1.5b 就是一个包含 15 亿个参数的模型。
    对于大规模深度学习模型来说,参数量的大小通常直接影响模型的性能和计算需求。不同大小的模型对应的 “b” 数字表示不同的参数量,这也反映出模型的容量和复杂度。

1、模型中的参数大小b越大更耗资源,

  1. 1.5b:表示模型有 15 亿个参数,通常是一个较大但相对轻量级的模型。
  2. 7b:表示模型有 70 亿个参数,参数越大,模型更强大、更复杂,性能更好,但计算成本和推理延迟也会增加。
  3. 13b、30b 等:参数数量进一步增加,代表更大的模型,这些模型的推理和训练可能需要更强的计算能力和更长的时间,但在一些任务上可能会表现得更加精确和复杂。

总结:
不同大小的 b 表示模型参数的数量,1.5b 代表 15 亿个参数的模型。参数越多,模型的计算能力通常越强,但对硬件的需求和推理速度也会有更大的影响。

2、不同大小参数需要的大致硬件配置

https://blog.csdn.net/2401_85343303/article/details/145452011
参考这个博客
在这里插入图片描述
这里使用最基础的1.5b来示例,也可以让更多的小伙伴体验到本地模型

3、拉取模型并运行

ollama run deepseek-r1:1.5b

有可能拉取服务包失败,经过检索是Ollama 的服务器故障,非常新鲜的故障
在这里插入图片描述

拉取模型清单:500 ·问题 #8873 ·OLLAMA/OLLAMA
https://github.com/ollama/ollama/issues/8873

在这里插入图片描述

等待Ollama服务恢复尝试,可以轻松拉取
也是开箱即用对,耐心等待拉取
在这里插入图片描述

等待拉取完成,即可进行对话
在这里插入图片描述

4、退出模型

ctrl+d来退出,或者使用命令 /bye

/bye

4、前端UI版

适合Ollama使用的前端有很多,经过筛选选择了极简的NextJS Ollama LLM UI

NextJS Ollama LLM UI 是专为 Ollama 设计的极简主义界面,适合追求简约风的小伙伴

https://github.com/jakobhoeg/nextjs-ollama-llm-ui

访问项目地址可以看到具体的使用步骤,也是开箱即用(需要简单的前端经验)

1、安装nvm
2、安装 Node.js (18+)
3、按照项目中的提示操作即可
在这里插入图片描述

这里需要注意下修改example.env to .env .这个操作要保证Ollama的默认端口没有修改
然后就是前端固定的 install 、 run dev
启动前端ui,即可访问

http://localhost:3000/

选择具体模型,然后就可以使用了

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2295277.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何在RTACAR中配置IP多播(IP Multicast)

一、什么是IP多播 IP多播(IP Multicast)是一种允许数据包从单一源地址发送到多个目标地址的技术,是一种高效的数据传输方式。 多播地址是专门用于多播通信的IP地址,范围从 224.0.0.0到239.255.255.255 与单播IP地址不同&#x…

2025年最新版武书连SCD期刊(中国科学引文数据库)来源期刊已更新,可下载PDF版!需要的作者进来了解~

2025年最新版武书连SCD期刊(中国科学引文数据库)来源期刊已更新! 官网是不提供免费查询的。小编给大家两个路径,无需下载PDF,随时随地都能查25版SCD目录。 路径一:中州期刊联盟官网,25版SCD目…

存储异常导致的Oracle重大生产故障

📢📢📢📣📣📣 作者:IT邦德 中国DBA联盟(ACDU)成员,10余年DBA工作经验 Oracle、PostgreSQL ACE CSDN博客专家及B站知名UP主,全网粉丝10万 擅长主流Oracle、MySQL、PG、高斯…

基于Java的远程视频会议系统(源码+系统+论文)

第一章 概述 1.1 本课题的研究背景 随着人们对视频和音频信息的需求愈来愈强烈,追求远距离的视音频的同步交互成为新的时尚。近些年来,依托计算机技术、通信技术和网络条件的发展,集音频、视频、图像、文字、数据为一体的多媒体信息&#xff…

C++ Primer 成员访问运算符

欢迎阅读我的 【CPrimer】专栏 专栏简介:本专栏主要面向C初学者,解释C的一些基本概念和基础语言特性,涉及C标准库的用法,面向对象特性,泛型特性高级用法。通过使用标准库中定义的抽象设施,使你更加适应高级…

使用云效解决docker官方镜像拉取不到的问题

目录 前言原文地址测试jenkins构建结果:后续使用说明 前言 最近经常出现docker镜像进行拉取不了,流水线挂掉的问题,看到一个解决方案: 《借助阿里个人版镜像仓库云效实现全免费同步docker官方镜像到国内》 原文地址 https://developer.aliyun.com/artic…

【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

一、引言与背景 在人工智能领域,大型语言模型(LLM)如DeepSeek以其卓越的自然语言理解和生成能力,推动了众多应用场景的发展。然而,大型模型的高昂计算和存储成本,以及潜在的数据隐私风险,限制了…

3D图形学与可视化大屏:什么是几何着色器,有什么功能和应用。

一、几何着色器的定义 在 3D 图形学和可视化大屏中,几何着色器是一种可编程的图形处理单元(GPU)着色器阶段。它位于顶点着色器和片段着色器之间,主要负责处理由顶点着色器输出的几何图形数据。 几何着色器以图元(如点…

Python:凯撒密码

题目内容: 凯撒密码是古罗马恺撒大帝用来对军事情报进行加密的算法,它采用了替换方法对信息中的每一个英文字符循环替换为字母表序列该字符后面第三个字符,对应关系如下: 原文:A B C D E F G H I J K L M N O P Q R …

第八届大数据与应用统计国际学术研讨会(ISBDAS 2025)

重要信息 官网:www.is-bdas.org 时间:2025年2月28-3月2日 地点:中国 广州 主办单位:广东省高等教育学会人工智能与高等教育研究分会 协办单位:北京师范大学人工智能与未来网络研究院、人工智能与大数据科研基地 …

吴恩达深度学习——卷积神经网络的特殊应用

内容来自https://www.bilibili.com/video/BV1FT4y1E74V,仅为本人学习使用。 文章目录 人脸识别相关定义Similarity函数使用Siamese网络实现函数d使用Triplet损失学习参数 神经风格迁移深度卷积网络可视化神经风格迁移的代价函数内容损失函数风格损失函数 人脸识别 …

寒假2.7

题解 web&#xff1a;[HCTF 2018]WarmUp 打开是张表情包 看一下源代码 访问source.php&#xff0c;得到完整代码 代码审计 <?phphighlight_file(__FILE__);class emmm{public static function checkFile(&$page){$whitelist ["source">"source.p…

无限使用Cursor

原理&#xff1a;运行程序获得15天的免费试用期&#xff0c;重新运行程序重置试用期&#xff0c;实现无限使用。免费的pro账号&#xff0c;一个月有250的高级模型提问次数。 前提&#xff1a;已安装cursor cursor-vip工具&#xff1a;https://cursor.jeter.eu.org?p95d60efe…

unity碰撞的监测和监听

1.创建一个地面 2.去资源商店下载一个火焰素材 3.把procedural fire导入到自己的项目包管理器中 4.给magic fire 0 挂在碰撞组件Rigidbody , Sphere Collider 5.创建脚本test 并挂在magic fire 0 脚本代码 using System.Collections; using System.Collections.Generic; usi…

企业FTP替代升级,实现传输大文件提升100倍!

随着信息技术的飞速发展&#xff0c;网络安全环境也变得越来越复杂。在这种背景下&#xff0c;传统的FTP&#xff08;文件传输协议&#xff09;已经很难满足现代企业对文件传输的需求了。FTP虽然用起来简单&#xff0c;但它的局限性和安全漏洞让它在面对高效、安全的数据交换时…

python基础入门:3.3序列通用操作

Python序列操作终极指南&#xff1a;解锁数据处理的核心技能 # 快速导航 sequence_types ["列表", "元组", "字符串", "字节序列"]一、核心操作三位一体 1. 索引与切片体系 # 通用索引规则 data ["A", "B", &…

Linux | 自动化构建 —— make / Makefile

文章目录 自动化构建-make/Makefile一、make 工具概述二、Makefile 基本结构三、 Makefile和make的基本使用3.1最基本的gcc编译&#xff1a;3.2make执行Makefile文件3.3.PHONY伪目标 四、Makefile拓展4.1直接根据文件名编写Makefile4.2变量的使用4.3Makefile的适度扩展语法&…

【个人开发】macbook m1 Lora微调qwen大模型

本项目参考网上各类教程整理而成&#xff0c;为个人学习记录。 项目github源码地址&#xff1a;Lora微调大模型 项目中微调模型为&#xff1a;qwen/Qwen1.5-4B-Chat。 去年新发布的Qwen/Qwen2.5-3B-Instruct同样也适用。 微调步骤 step0: 环境准备 conda create --name fin…

电脑开机提示按f1原因分析及终极解决方法来了

经常有网友问到一个问题&#xff0c;我电脑开机后提示按f1怎么解决&#xff1f;不管理是台式电脑&#xff0c;还是笔记本&#xff0c;都有可能会遇到开机需要按F1&#xff0c;才能进入系统的问题&#xff0c;引起这个问题的原因比较多&#xff0c;今天小编在这里给大家列举了比…

2025华为OD机试真题最新题库 (B+C+D+E卷) + 在线OJ在线刷题使用说明(C++、Java、Python合集)(正在更新E卷,目前已收录581道)

2024年8月份&#xff0c;华为已经开始使用E卷题库&#xff0c;题目和往期一样&#xff0c;旧题加新题的组合&#xff0c;有题目第一时间更新&#xff0c;大家可以跟着继续学习&#xff0c;目前使用复用题较多&#xff0c;可在OJ上直接找到对应的E卷学习&#xff0c;可以放心学习…