DeepSeek与llama本地部署(含WebUI)

news2025/2/9 4:42:16

DeepSeek从2025年1月起开始火爆,成为全球最炙手可热的大模型,各大媒体争相报道。我们可以和文心一言一样去官网进行DeepSeek的使用,那如果有读者希望将大模型部署在本地应该怎么做呢?本篇文章将会教你如何在本地傻瓜式的部署我们的deepseek,即便你是文科生也可以做到,不会涉及代码编程,只需要一些命令。


我笔记本:2019款拯救者,windows 10;内存8G,CPU:intel 9th i5;GPU:NVIDIA 1650 4G,256G固态+1T机械硬盘。其实只要你电脑系统是在windows 10及以上,且具有8G内存和30GB可用空间就基本可以部署最小版本的DeepSeek R1大模型和LLama3.2大模型

相关的资源可以从我的百度网盘下载,当然也可以从各官网去下载,只不过会慢一些。


链接: https://pan.baidu.com/s/15H48zFG394P23b7wM2nTXA

提取码: iipt 


本地部署DeepSeek和llama

本节将详细介绍如果通过Ollama和Open WebUI在本地计算机环境中部署DeepSeek R1和LLama 3.2大模型。

1.安装Ollama


Ollama是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与OpenAI兼容的API接口,适合开发者和企业快速搭建私有化AI服务。

Ollama官方网址:https://ollama.com/

点进去以后界面如下,然后点击Download

 

 我们这里选择Windows版本,所以选择Windows,然后点击Download for Windows,这里有时候会让你登录注册后才可以下载,有些同学从这里下载会很慢,因此还是推荐从我的百度网盘下载。

 下载完成以后,双击安装包文件“OllamaSetup.exe”完成安装。

注意:这里默认安装为C盘

1.1更改大模型下载位置

这一步并不是必须的,如果你C盘位置足够可以不用管。如果你希望更改其他位置可以看这一部分。

安装完毕后,如何检验Ollama是否安装完毕呢?方法很简单,按键盘上的windows键+R键,然后输入cmd并确定,如下:

紧接着在跳出的窗口输入以下命令: ollama --version    当我们可以看到打印的ollama版本就说明安装成功了。

 

后续下载的各类大模型也均存储在C盘,因此如果你希望把大模型放在其他盘,例如我这里是F盘,操作如下:

我是在F盘新建了一个ollama的文件夹。如下:

下载的各类大模型一般默认位置为:C:/User/你的用户名/.ollama/models/

然后将上述models整个文件夹剪切到你自己新建的文件中,我这里是F:/ollama/models,如下:

到了这还没有完,我们还需要修改环境变量,便于让后续的Ollama自动找到我们的大模型。

右键“此电脑”

然后点击属性,点击高级系统设置

 在系统属性窗口,点击高级-->环境变量。

 在跳出来的环境变量窗口用户变量中点击新建。

输入以下内容:

 变量值为你存储大模型的位置,根据自己的实际位置进行修改。

2.下载DeepSeek R1大模型

我这里仅以DeepSeek R1大模型为例,其他大模型例如LLama也是一样的操作。

模型下载地址:https://ollama.com/library/,该地址进去后有各类大模型。

 但这里给一个更方便的下载方法,让Ollama为我们自己下载

 因为我这里的显存比较小,因此我选择下载的是deepseel-R1,llama3.2也可以带起来。

只需要在cmd中输入ollama run deepseek-r1:1.5b命令即可下载或运行。(如果之前没有下载会自动下载,如果已经下载过了,输入该命令后会自动运行大模型),这里的下载速度取决你的网速的和模型大小。

安装成果后你就可以和deepseek对话了,如下,关闭窗口就退出模型了:

如果你要查看你下载了哪些大模型,命令如下:

ollama list

 

 


3.安装Open-WebUI

上述的方法使用大模型是不是感觉太Low了,不像GPT或者文心一言有一个网页的交互界面,因此也有前人为我们造好了轮子,我们直接拿来用就行,这个框架框架就是Open-WebUI。

但是安装此框架之前需要你电脑上安装好python3.12,注意要3.12版本!太低不兼容,也不建太新的,咱们就按官方推荐的来。

然后在cmd中输入以下命令:

pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple

注意:这里的安装的时间可能会比较长,如果长时间不动或者卡住,可尝试按一下回车键。

安装完成后,同样在cmd中输入open-webui serve命令开启我们的UI界面,看到下面界面并不意味着已经完全启动成功,咱们还需要继续等待

直到出现以下类似的信息后,才说明启动成功。 

接下来就是见证奇迹的时刻!!!打开你的浏览器,输入网址:

http:/localhost:8080

注意:第一次登录的时候,需要你自己先注册到本地一个管理员账户。 

如果你想切换大模型,可以点击下面的选项。

接下来你就可以实现对话啦~~~

 

注意:默认大模型是离线的,也就是不接入互联网。如果你希望联网,那么你可以进行如下设置:

点击左下角的账户,然后点击设置,找到如下设置,也可以用其他的搜索引擎,但需要API。

 


 但是尝试了一下deepseek r1,感觉效果很一般,更大参数的模型效果会好一些。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2295059.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

让万物「听说」:AI 对话式智能硬件方案和发展洞察

本文整理自声网 SDK 新业务探索组技术负责人,IoT 行业专家 吴方方 1 月 18 日在 RTE 开发者社区「Voice Agent 硬件分享会」上的分享。本次主要介绍了 AI 对话式智能硬件的发展历程,新一波 AI 浪潮所带来的创新机遇、技术挑战以及未来的展望。 在语音交…

Day38-【13003】短文,二叉树,完全二叉树,二叉树的顺序存储,和链式存储

文章目录 第二节 二叉树二叉树的定义及重要性质n个结点,能组合成多少个不同的二叉树满二叉树、完全二叉树完全二叉树的性质二叉树的性质二叉树的结点数完全二叉树的高度 二叉树的存储顺序存储方式链式存储方式二叉链表的程序实现二叉链表空指针域计算 第二节 二叉树…

【AI】在Ubuntu中使用docker对DeepSeek的部署与使用

这篇文章前言是我基于部署好的deepseek-r1:8b模型跑出来的 关于部署DeepSeek的前言与介绍 在当今快速发展的技术环境中,有效地利用机器学习工具来解决问题变得越来越重要。今天,我将引入一个名为DeepSeek 的工具,它作为一种强大的搜索引擎&a…

unity视频在场景中的使用

(一)软件操作在平面上显示视频播放 1.创建渲染器纹理 2.创建平面 3.在平面上添加Video player 4.视频拖拽到Video player 5.渲染模式选择渲染器纹理 6.把纹理拖到目标纹理上 7.把纹理拖到平面上就可以了 然后运行项目 8.结果 (二&#…

vue3+vite+eslint|prettier+elementplus+国际化+axios封装+pinia

文章目录 vue3 vite 创建项目如果创建项目选了 eslint prettier从零教你使用 eslint prettier第一步,下载eslint第二步,创建eslint配置文件,并下载好其他插件第三步:安装 prettier安装后配置 eslint (2025/2/7 补充) 第四步&am…

【Android开发AI实战】基于CNN混合YOLOV实现多车牌颜色区分且针对车牌进行矫正识别(含源码)

文章目录 引言单层卷积神经网络(Single-layer CNN)📌 单层 CNN 的基本结构📌 单层 CNN 计算流程图像 透视变换矫正车牌c实现🪄关键代码实现:🪄crnn结构图 使用jni实现高级Android开发&#x1f3…

多光谱成像技术在华为Mate70系列的应用

华为Mate70系列搭载了光谱技术的产物——红枫原色摄像头,这是一款150万像素的多光谱摄像头。 相较于普通摄像头,它具有以下优势: 色彩还原度高:色彩还原准确度提升约 120%,能捕捉更多光谱信息,使拍摄照片色…

数字人|通过语音和图片来创建高质量的视频

简介 arXiv上的计算机视觉领域论文: AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation AniPortrait:照片级真实感肖像动画的音频驱动合成 核心内容围绕一种新的人像动画合成框架展开。 研究内容 提出 AniPortrait 框架&a…

LLMs瞬间获得视觉与听觉感知,无需专门训练:Meta的创新——在图像、音频和视频任务上实现最优性能。

引言: 问题: 当前的多模态任务(如图像、视频、音频描述生成、编辑、生成等)通常需要针对特定任务训练专门的模型,而现有的方法在跨模态泛化方面存在局限性,难以适应新任务。此外,多模态嵌入反演…

ZZNUOJ(C/C++)基础练习1081——1090(详解版)

目录 1081 : n个数求和 (多实例测试) C C 1082 : 敲7(多实例测试) C C 1083 : 数值统计(多实例测试) C C 1084 : 计算两点间的距离(多实例测试) C C 1085 : 求奇数的乘积(多实例测试…

【DeepSeek】私有化本地部署图文(Win+Mac)

目录 一、DeepSeek本地部署【Windows】 1、安装Ollama 2、配置环境变量 3、下载模型 4、使用示例 a、直接访问 b、chatbox网页访问 二、DeepSeek本地部署【Mac】 1、安装Ollama 2、配置环境变量 3、下载模型 4、使用示例 5、删除已下载的模型 三、DeepSeek其他 …

深度学习里面的而优化函数 Adam,SGD,动量法,AdaGrad 等 | PyTorch 深度学习实战

前一篇文章,使用线性回归模型逼近目标模型 | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 本篇文章内容来自于 强化学习必修课:引领人工智能新时代【梗直哥瞿炜】 深度学习里面的而优化函数 …

基于Spring Boot的图书个性化推荐系统的设计与实现(LW+源码+讲解)

专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…

【论文阅读】Comment on the Security of “VOSA“

Comment on the Security of Verifiable and Oblivious Secure Aggregation for Privacy-Preserving Federated Learning -- 关于隐私保护联邦中可验证与遗忘的安全聚合的安全性 论文来源摘要Introduction回顾 VOSA 方案对VOSA不可伪造性的攻击对于类型 I 的攻击对于类型 II 的…

3.攻防世界 Confusion1(服务器模板注入SSTI)

题目描述如下 进入题目页面如下 图片是蟒蛇、大象?python、php? 猜测需要代码审计 点击 F12查看源码,有所提示flag 但是也没有其他信息了 猜测本题存在SSTI(服务器模板注入)漏洞,为验证,构造…

保姆级教程 !SQL Server数据库的备份和还原

使用 SQL Server Management Studio (SSMS) 备份和还原数据库 1、数据库备份 Step 1 打开 SSMS 输入server name 以及用户名和密码连接到你的 SQL Server 实例 Step 2 展开Database,选中你要备份的数据库 Step 3 右击选中的数据库,点击Tasks --> Back …

AlwaysOn 可用性组副本所在服务器以及该副本上数据库的各项状态信息

目录标题 AlwaysOn语句代码解释:1. sys.dm_hadr_database_replica_states 视图字段详细解释及官网链接官网链接字段解释 2. sys.availability_replicas 视图字段详细解释及官网链接官网链接字段解释 查看视图的创建语句方法一:使用 SQL Server Managemen…

ip地址是手机号地址还是手机地址

在数字化生活的浪潮中,IP地址、手机号和手机地址这三个概念如影随形,它们各自承载着网络世界的独特功能,却又因名称和功能的相似性而时常被混淆。尤其是“IP地址”这一术语,经常被错误地与手机号地址或手机地址划上等号。本文旨在…

zephyr devicetree

Syntax and structure — Zephyr Project Documentation Input files There are four types of devicetree input files: sources (.dts) includes (.dtsi) overlays (.overlay) bindings (.yaml) The devicetree files inside the zephyr directory look like this: …

学习笔记:机器学习中的数学原理(一)

1. 集合 集合分为有限集和无限集; 对于有限集,两集合元素数相等即为等势; 对于无限集,两集合元素存在一一映射关系即为等势; 无限集根据是否与正整数集等势分为可数集和不可数集。 2. sigmoid函数(也叫…