高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

news2025/2/11 9:07:05

目录

一、Ollama 介绍

二、Ollama下载 

2.1 官网下载

2.2 GitHub下载

三、模型库

四、Ollmal 使用

4.1 模型运行(下载)

4.2 模型提问

五、Ollama 常用命令

相关推荐


一、Ollama 介绍

        Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。以下是对Ollama的详细解释:

  • 简化部署:Ollama旨在简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • 跨平台支持:Ollama提供针对macOS、Windows(预览版)、Linux以及Docker的安装指南,确保用户能在多种操作系统环境下顺利部署和使用。

二、Ollama下载 

2.1 官网下载

        Ollama 支持多平台部署,可以在官网,选择适合的平台进行下载,如下图:

2.2 GitHub下载

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models. - ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollama

三、模型库

        Ollama 支持在 ollama.com/search 上获取的模型列表,比如最近比较火的 deepseek-r1:

        不同版本的模型所需内存大小也有所不同。例如在Ollama中部署DeepSeek-R1的不同版本(1.5b、7b、8b、14b、32b、70b、671b)所需的内存大小:

DeepSeek-R1版本所需内存(大约)备注
1.5b1.1GB硬盘空间内存需求相对较低
7b4.7GB硬盘空间内存和显存需求适中
8b约4.9GB硬盘空间显存占用约6.5GB左右
14b约9GB硬盘空间内存需求较高,建议至少8GB以上内存,显存占用约13GB
32b约20GB硬盘空间需要更高的内存和显存配置,建议至少32GB内存
70b约43GB硬盘空间需要非常大的内存和显存资源,适合高端配置
671b约404GB硬盘空间这是目前提到的最大版本,所需内存和显存资源将是所有版本中最高的

        根据自身需要选择版本,如下是我之前下的几个模型的版本和所占内存大小:

四、Ollmal 使用

4.1 模型运行(下载)

        打开命令终端,输入指令 ollama run xxxx(模型名称,如deepseek-r1),若是首次运行某个模型,Ollma 会先下载对应的模型文件,然后运行模型。        

//下载7b版本
ollama run deepseek-r1

//下载14b版本
ollama run deepseek-r1:14b

        可以根据不同命令下载不同版本,怎么获取命令?你可以先选中模型的版本,ollama 会根据不同的版本生成命令,如下图所示:

4.2 模型提问

五、Ollama 常用命令

  • ollama serve:该命令用于启动Ollama服务器(在不运行桌面应用程序的情况下启动 ollama;),以便运行模型和处理请求。首次启动可能会生成ssh私钥文件,并提示服务端口状态。
  • ollama start:启动服务。
  • ollama list或ollama ls:列出本地所有可用的模型。
  • ollama ps:显示当前正在运行的模型列表。
  • ollama show [模型名称]:查看特定模型的详细信息,如模型名称、版本等。
  • ollama pull [模型名称]:从模型注册表中拉取一个模型到本地使用。此命令也可以用于更新本地模型,只会拉取差异部分。
  • ollama run [模型名称]。运行一个已安装的模型,执行某些任务。可以根据需要指定模型的参数和配置。
  • ollama create [模型路径]:使用包含模型信息的 [模型路径]来创建一个新模型。
  • ollama push [模型名称]:将本地模型推送到模型注册表中,以便他人或其他系统使用。
  • ollama cp [原模型名称] [新模型名称]:复制一个模型到另一个位置或给定名称的地方。
  • ollama rm [模型名称]:删除一个已安装的模型。
  • ollama -vollama --version:显示当前Ollama工具的版本信息。

相关推荐

Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamaNeo4j 图数据库安装与操作指南(以mac为例)_neo4j安装-CSDN博客文章浏览阅读1w次,点赞78次,收藏82次。本文介绍了Neo4j图数据库的安装、配置、启动以及基本操作方法。首先,需要满足Java环境的安装要求,并可选择使用Homebrew进行安装。然后,从官方网站下载Neo4j并解压,或通过Homebrew进行安装。配置Neo4j时,可设置环境变量以简化命令操作。启动Neo4j后,可通过Cypher查询语言进行节点、关系的创建、修改、匹配和删除等操作。本文还介绍了Neo4j的其他常用命令,如查询版本、服务状态、重启、停止和卸载等。_neo4j安装https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2295582.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Cursor无法使用老版本python debug的解决办法

我服务器上的python版本是3.6.8,使用官方的python插件进行debug的时候,弹窗提示说不支持3.7以下的,建议升级python,但是我的工程就是3.6.8的屎山,辗转发现一个土办法: 手动下载老版本的python插件&#xff…

如今物联网的快速发展对hmi的更新有哪些积极影响

一、功能更加丰富 物联网的快速发展使得 HMI(人机界面)能够连接更多的设备和系统,从而实现更加丰富的功能。例如,通过与传感器网络的连接,HMI 可以实时显示设备的运行状态、环境参数等信息,为用户提供更加…

黑马 Linux零基础快速入门到精通 笔记

初识Linux Linux简介 提及操作系统,我们可能最先想到的是windows和mac,这两者都属于个人桌面操作系统领域,而Linux则属于服务器操作系统领域。无论是后端软件、大数据系统、网页服务等等都需要运行在Linux操作系统上。 Linux是一个开源的操作…

Go 中的 7 个常见接口错误

Go 仍然是一门新语言,如果你正在使用它,它很可能不是你的第一门编程语言。 不同的语言,既为你带来了经验,也带来了偏见。你用以前的任何语言做的事情,在 Go 中用相同的方法可能不是一个好主意。 学习 Go 不仅仅是学习一种新的语法。这也是学习一种新的思维方式来思考你的…

LLAMA-Factory安装教程(解决报错cannot allocate memory in static TLS block的问题)

步骤一: 下载基础镜像 # 配置docker DNS vi /etc/docker/daemon.json # daemon.json文件中 { "insecure-registries": ["https://swr.cn-east-317.qdrgznjszx.com"], "registry-mirrors": ["https://docker.mirrors.ustc.edu.c…

二级C语言题解:十进制转其他进制、非素数求和、重复数统计

目录 一、程序填空📝 --- 十进制转其他进制 题目📃 分析🧐 二、程序修改🛠️ --- 非素数求和 题目📃 分析🧐 三、程序设计💻 --- 重复数统计 题目📃 分析🧐 前言…

Unity3D引擎首次用于光伏仿真设计软件爆火

在光伏设计领域,绿虫光伏仿真设计软件宛如一匹黑马,凭借其基于 Unity3D 引擎的强大功能,为行业带来了全新的解决方案。借助 Unity3D 引擎技术,实现了游戏级高清画面,2D/3D 自由转换,让场景代入感极强&#…

基础入门-网站协议身份鉴权OAuth2安全Token令牌JWT值Authirization标头

知识点: 1、网站协议-http/https安全差异(抓包) 2、身份鉴权-HTTP头&OAuth2&JWT&Token 一、演示案例-网站协议-http&https-安全测试差异性 1、加密方式 HTTP:使用明文传输,数据在传输过程中可以被…

深入理解 C++17 std::is_swappable

文章目录 深入理解 C17 std::is_swappable引言std::is_swappable 概述std::is_swappable 的工作原理std::is_swappable 的变体注意事项结论 深入理解 C17 std::is_swappable 引言 在 C 编程中,交换两个对象的值是一个常见的操作。为了确保代码的通用性和安全性&am…

Vue(4)

一.组件的三大组成部分-注意点说明 (1)scoped样式冲突 默认情况:写在组件中的样式会全局生效 → 因此很容易造成多个组件之间的样式冲突 ①全局样式:默认组件中的样式会作用到全局 ②局部样式:可以给组件加上scoped属…

4G核心网的演变与创新:从传统到虚拟化的跨越

4G核心网 随着移动通信技术的不断发展,4G核心网已经经历了从传统的硬件密集型架构到现代化、虚拟化网络架构的重大转型。这一演变不仅提升了网络的灵活性和可扩展性,也为未来的5G、物联网(LOT)和边缘计算等技术的发展奠定了基础。…

探讨如何在AS上构建webrtc(2)从sdk/android/Build.gn开始

全文七千多字,示例代码居多别担心,没有废话,不建议跳读。 零、梦开始的地方 要发美梦得先入睡,要入睡得找能躺平的地方。那么能躺平编译webrtc-android的地方在哪?在./src/sdk/android/Build.gn。Build.gn是Build.nin…

C#常用集合优缺点对比

先上结论&#xff1a; 在C#中&#xff0c;链表、一维数组、字典、List<T>和ArrayList是常见的数据集合类型&#xff0c;它们各有优缺点&#xff0c;适用于不同的场景。以下是它们的比较&#xff1a; 1. 一维数组 (T[]) 优点&#xff1a; 性能高&#xff1a;数组在内存中…

多线程下jdk1.7的头插法导致的死循环问题

20250208 多线程下jdk1.7的头插法导致的死循环问题 多线程下jdk1.7的头插法导致的死循环问题 【新版Java面试专题视频教程&#xff0c;java八股文面试全套真题深度详解&#xff08;含大厂高频面试真题&#xff09;】 jdk1.7在hashmap扩容时使用的是头插法&#xff0c;所以扩容…

MySQL的深度分页如何优化?

大家好&#xff0c;我是锋哥。今天分享关于【MySQL的深度分页如何优化?】面试题。希望对大家有帮助&#xff1b; MySQL的深度分页如何优化? 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 MySQL在处理深度分页&#xff08;即查询页数较大时&#xff0c;通常是查询…

uniapp中使用uCharts折线图X轴数据间隔显示

1、先看官网 https://www.ucharts.cn/ 2、设置代码 "xAxisDemo3":function(val, index, opts){if(index % 2 0){return val}else {return }}, 再在数据中引入设置好样式

公司配置内网穿透方法笔记

一、目的 公司内部有局域网&#xff0c;局域网上有ftp服务器&#xff0c;有windows桌面服务器&#xff1b; 在内网环境下&#xff0c;是可以访问ftp服务器以及用远程桌面登录windows桌面服务器的&#xff1b; 现在想居家办公时&#xff0c;也能访问到公司内网的ftp服务器和win…

【Windows/C++/yolo开发部署02:正确方法】将自定义实例分割模型导出为 ONNX 格式

【完整项目下载地址】: 【TensorRT部署YOLO项目:实例分割+目标检测】+【C++和python两种方式】+【支持linux和windows】资源-CSDN文库 目录 写在前面 环境准备 安装必要的库 下载模型并开始转换 解决依赖问题 安装 ONNX 降级 Protobuf 最终转换 总结 写在前面 在…

国产编辑器EverEdit - 编辑辅助功能介绍

1 编辑辅助功能 1.1 各编辑辅助选项说明 1.1.1 行号 打开该选项时&#xff0c;在编辑器主窗口左侧显示行号&#xff0c;如下图所示&#xff1a; 1.1.2 文档地图 打开该选项时&#xff0c;在编辑器主窗口右侧靠近垂直滚动条的地方显示代码的缩略图&#xff0c;如下图所示&…

Jupyter Notebook自动保存失败等问题的解决

一、未生成配置文件 需要在命令行中&#xff0c;执行下面的命令自动生成配置文件 jupyter notebook --generate-config 执行后会在 C:\Users\用户名\.jupyter目录中生成文件 jupyter_notebook_config.py 二、在网页端打开Jupyter Notebook后文件保存失败&#xff1b;运行代码…