玩转大模型——deepseek本地部署与ollama 非C盘安装之ChatBox配置

news2025/3/3 8:05:13

文章目录

  • ollama安装
    • ollama是什么
    • DeepSeek是什么
    • 下载地址
    • 非C盘安装
    • 配置大模型目录
    • 大模型下载
      • 安装deepseek-r1:1.5b
      • 安装deepseek-r1:7b
  • ChatBox安装
  • 参考资料

ollama安装

ollama是什么

Ollama 是一个专注于本地运行大型语言模型的工具。它允许用户在本地环境中部署和运行各种开源语言模型(如 LLaMA、GPT-J 等),而不需要依赖云服务。Ollama 的主要优势在于其本地化运行的能力,这使得用户可以在不依赖互联网连接的情况下使用强大的语言模型。

DeepSeek是什么

DeepSeek是由深度求索公司开发的人工智能模型,功能丰富,能聊天、写作、写代码、分析数据、翻译及教育辅导,理解能力强,学习速度快,多场景适用,未来潜力无限。

下载地址

下载地址:https://ollama.com/download/windows

非C盘安装

在CMD窗口输入

.\OllamaSetup.exe /DIR=F:\llm\OLLAMA

在这里插入图片描述
安装完成可以在系统右下角看到ollama
在这里插入图片描述
目录大小4.7G
在这里插入图片描述

验证是否安装成功

netstat -ano | findstr 11434

输入ollama -h可以查看其它命令

配置大模型目录

我们现在的模型目录,默认是在C盘,如果C盘空间不够大,需要把它转移到其它位置。
在这里插入图片描述
复制文件到新目录
在这里插入图片描述

新建一个环境变量

OLLAMA_MODELS :F:\llm\OLLAMA_MODELS

在这里插入图片描述
删除原文件

rm -rf "C:\Users\MagicBook\.ollama"

一定要重启操作系统,确保环境变量生效!!!

大模型下载

安装deepseek-r1:1.5b

在ollama library页面可以看到ollama可以下载的模型。
在这里插入图片描述
在命令行窗口运行命令就可以自动下载并运行。

ollama run deepseek-r1:1.5b

数字后面的b是billion,十亿的意思。
在这里插入图片描述

所以 ,网络主播们说的deepseek-r1:671b是一个671亿参数的大模型是错误的,应该是6710亿。

deepseek-r1:1.5b:这是一个参数量为 15 亿(1.5 billion) 的模型
deepseek-r1:7b:这是一个参数量为 70 亿(7 billion) 的模型

在这里插入图片描述

大模型文件已经下载在指定盘符,但C盘依然有小部分文件生成,好在占用空间不大。
在这里插入图片描述
在这里插入图片描述
小模型效果似乎并不理想。

安装deepseek-r1:7b

ollama run deepseek-r1:7b

在这里插入图片描述
在这里插入图片描述

ChatBox安装

下载ChatBox
在这里插入图片描述
设置

模型提供方:OLLAMA API
API域名:http://127.0.0.1:11434
模型:deepseek-r1:7b
上下文的消息数量上限:10
严谨与想象(Temperature):0.7

保存

在这里插入图片描述

参考资料

AMD 显卡 部署deep seek记录及踩坑(windows 10)
关于ollama非C盘安装以及模型非C盘存放方式
AMD ollama显卡调用方案
自定义Ollama安装路径

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2308841.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

DAV_postgresql_3-schema

schem介绍: 什么是schema? 用户对象的集合叫做模式 不同模式下的对象可以同名 可以把用户下对象根据业务分类,不同的对象放在不同的模式 一个用户可以创与拥有多个模式 一个模式只能属于一个用户 普通用户创建模式需要授权指定数据库下的创建权限…

Hive-04之存储格式、SerDe、企业级调优

一、主题 hive表的数据压缩和文件存储格式hive的自定义UDF函数hive的JDBC代码操作hive的SerDe介绍和使用hive的优化 二、要点 1. hive表的文件存储格式 Hive支持的存储数的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC&…

信号和槽

connect(信号发送者,发送的信号,信号接收者,信号的处理); 信号函数和槽函数的参数必须是一样的,但信号的参数可以多余槽函数的参数(前面的参数类型必须一致) 是控件和控件间的信号传递,这两个…

从零开始用react + tailwindcss + express + mongodb实现一个聊天程序(八) 聊天框用户列表

简单画了个聊天框 就是咱们的HomePage.jsx 1.后端接口开发 在server/src/index.js 新增 messagesRoutes 先引入 import messageRoutes from ./routes/message.route.js // 消息接口 app.use(/api/messages, messageRoutes) 在routes文件夹下新建message.route.js 有3个路…

关于后端使用Boolean或boolean时前端收到的参数的区别

当后端使用的是Boolean时,调用的方法是setIsLoginUser,前端收到的参数的参数名是isLoginUser 而当后端使用的是boolean时,调用的方法是setLoginUser,前端收到的参数的参数名是loginUser 封装类和基本数据类型在使用时需要注意这…

智能称重搬物寻迹小车(论文+源码)

1 系统设计方案确定 本次设计的总系统有以下几个模块分别是避障模块,循迹模块,二维码扫描电路,称重电路,LCD显示电路和电机驱动模块,而且这几个模块都是由单片机stm32控制的,整个系统的框图如下图所示。其…

使用 ASP.NET Core 创建和下载 zip 文件

对于最近的一个功能,我必须从用 ASP.NET Core 编写的内部网站下载一批文件。在下载文件之前对其进行压缩,结果证明这是一种轻松实现多文件下载的好方法。.NET 提供了所有需要的功能,在本文中,我将向您展示如何实现它。 首先&#…

dify绑定飞书多维表格

dify 绑定飞书和绑定 notion 有差不多的过程,都需要套一层应用的壳子,而没有直接可以访问飞书文档的 API。本文记录如何在dify工具中使用新增多条记录工具。 创建飞书应用 在飞书开放平台创建一个应用,个人用户创建企业自建应用。 自定义应…

SQL server配置ODBC数据源(本地和服务器)

本地配置 1. 控制面板中找到系统ODBC数据源(打开控制面板直接搜) 2. 选择“系统DSN”,点击“添加” 3. 选择“SQL server” 4. 名称和描述自己填,服务器选择本机设备名称 5. 选择ID和密码验证,并填写本地SQL server登…

LogiSim教程

一、LogiSim是什么 Logisim是一种设计数字电路的工具。 二、安装LogiSim 下载地址 https://sourceforge.net/projects/circuit/ 此软件需要java运行环境。 三、使用LogiSim (一)界面 Logisim界面分为菜单栏、工具栏、资源管理器,属性表…

RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter

​​标题:RAP:基于稀疏相关适配器的高效文本视频检索 原文链接:RAP: Efficient Text-Video Retrieval with Sparse-and-Correlated Adapter - ACL Anthology 发表:ACL-2024(NLP领域CCF A类) 摘要 文本-视频检索(TVR&#xff0…

I2C驱动(十一) -- gpio模拟的i2c总线驱动i2c-gpio.c分析

相关文章 I2C驱动(一) – I2C协议 I2C驱动(二) – SMBus协议 I2C驱动(三) – 驱动中的几个重要结构 I2C驱动(四) – I2C-Tools介绍 I2C驱动(五) – 通用驱动i2c-dev.c分析 I2C驱动(六) – I2C驱动程序模型 I2C驱动(七) – 编写I2C设备驱动之i2c_driver I2C驱动(八) – 编写I2C…

不要升级,Flutter Debug 在 iOS 18.4 beta 无法运行,提示 mprotect failed: Permission denied

近期如果有开发者的 iOS 真机升级到 18.4 beta,大概率会发现在 debug 运行时会有 Permission denied 的相关错误提示,其实从 log 可以很直观看出来,就是 Dart VM 在初始化时,对内核文件「解释运行(JIT)」时…

私有化部署大模型推理性能分析

从用户感知角度分析私有化部署的大模型推理性能,这里的用户感知包括响应速度、生成速度、系统可用性以及系统稳定性。大模型首先获取输入内容的字符串,将这部分内容转换为模型token,过模型推理,到最后输出第一个token的时间是ttft,从这以后&a…

EtherCAT总线绝对值伺服如何使用

EtherCAT总线掉线如何自动重启。 EtherCAT总线掉线如何自动重启_ethercat从站断线-CSDN博客文章浏览阅读1.2k次。本文介绍了在EtherCAT通信中,当从站出现掉线情况时,如何通过设置自动重启功能来解决这一问题。详细步骤包括在CODESYS环境中启用从站的自动重启选项。https://r…

可商用街头文化艺术海报封面手写涂鸦标题LOGO排版英文字体 FS163 TYPE FACE

Freestyle 163 (FS163)是一个受街头文化和城市艺术启发的视觉宣言。该字体旨在突出我们的文化和创意根源,反映了街头运动、城市艺术以及来自社会和边缘的故事。 FS163与面临挑战、质疑规范、放大被忽视声音的品牌和个人联系在一起&#xff0c…

使用3090显卡部署Wan2.1生成视频

layout: post title: 使用3090显卡部署Wan2.1生成视频 catalog: true tag: [Kubernetes, GPU, AI] 使用3090显卡部署Wan2.1生成视频 1. 环境说明2. 模型下载3. 克隆仓库4. 安装依赖5. 生成视频 5.1. 使用generate脚本生成5.2. 使用gradio启动UI界面生成 5.2.1. 启动gradio服务5…

Diffusion——扩散模型(未完待续)

论文链接:https://arxiv.org/abs/2006.11239 简介 扩散模型(Diffusion Model)是用于生成数据的一类深度生成模型,特别擅长于图像生成。其工作原理基于通过随机噪声的逐步转换来生成目标数据。扩散模型分为两部分:正向…

Java内存管理与性能优化实践

Java内存管理与性能优化实践 Java作为一种广泛使用的编程语言,其内存管理和性能优化是开发者在日常工作中需要深入了解的重要内容。Java的内存管理机制借助于垃圾回收(GC)来自动处理内存的分配和释放,但要实现高效的内存管理和优…

unsloth报错FileNotFoundError: [WinError 3] 系统找不到指定的路径。

运行平台 Windows 报错信息 Traceback (most recent call last): File “C:\Python312\Lib\site-packages\IPython\core\interactiveshell.py”, line 3577, in run_code exec(code_obj, self.user_global_ns, self.user_ns) File “”, line 1, in runfile(‘D:\python_pr…