ai本地化 部署常用Ollama软件

news2025/3/18 5:37:29

现在用最简单的方式介绍一下 Ollama 的作用和用法：

Ollama 是什么？

Ollama 是一个让你能在自己电脑上免费运行大型语言模型（比如 Llama 3、Mistral 等）的工具。

相当于你本地电脑上有一个类似 ChatGPT 的 AI，但完全不用联网，所有数据都在自己电脑里处理，更安全、更私密。

它有什么用？

  1. 离线使用 AI：不联网也能和 AI 对话、生成文本、写代码等。

  2. 保护隐私：你的对话内容不会上传到服务器，适合处理敏感信息。

  3. 开发者友好：方便测试、调试 AI 模型，或集成到自己的项目中。

怎么用？（3步搞定）

1. 安装 Ollama
  • Mac/Linux：官网下载安装包，或终端直接运行：

curl -fsSL https://ollama.com/install.sh | sh
  • Windows（测试版）：从官网下载安装包。Ollama主页：https://ollama.com/
    在这里插入图片描述
windows 环境配置
  • 关闭开机自启动（可选）：
    Ollama 默认会随 Windows 自动启动，可以在「文件资源管理器」的地址栏中访问以下路径，删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。
%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup

在这里插入图片描述

  • 配置环境变量（必须）：
    Ollama 的默认模型存储路径如下：C:\Users%username%.ollama\models，无论 C 盘空间大小，需要安装多少模型，都建议换一个存放路径到其它盘，否则会影响电脑运行速度。

打开「系统环境变量」，新建一个系统变量OLLAMA_MODELS ，然后设置ollama模型的存储路径。

变量名：OLLAMA_MODELS

变量值（路径）：D:\Work\ollama\models

  • 配置端口（可选）：
    Ollama API 的默认访问地址和侦听端口是http://localhost:11434，只能在装有 Ollama 的系统中直接调用。如果要在网络中提供服务，请修改 API 的侦听地址和端口（在系统环境变量里设置）：

变量名：OLLAMA_HOST

变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000 端口。(变量值的端口前号前有个冒号:)

注：要使用 IPv6，需要 Ollama 0.0.20 或更高版本。另外，可能需要在 Windows 防火墙中开放相应端口的远程访问。

  • 允许浏览器跨域请求（可选）：
    Ollama 默认只允许来自127.0.0.1和0.0.0.0的跨域请求，如果你计划在其它前端面板中调用 Ollama API，比如Open WebUI，建议放开跨域限制：

变量名：OLLAMA_ORIGINS

变量值：*

2. 下载模型

在终端输入命令下载模型（比如下载最流行的 Llama 3）：

ollama run llama3  # 自动下载并运行

在这里插入图片描述

其他模型（如 mistral、phi3、gemma）同理，替换名字即可。
执行指令ollama run <模型名称>，首次执行会从模型库中下载模型，所需时间取决于你的网速和模型大小。模型库地址：https://ollama.org.cn/library

3. 开始对话

运行模型后，直接在终端输入问题，比如：

>>> 用一句话解释量子力学
>>> 写一个Python代码计算斐波那契数列

在这里插入图片描述

按 Ctrl+D 或输入 /bye 退出。

如果觉得直接在黑框里运行不优雅，可以将Ollama接入到成熟的UI系统中，比如Open WebUI，地址如下：
https://github.com/ollama/ollama?tab=readme-ov-file#community-integrations

常用命令

  • ollama list：查看已下载的模型

  • ollama run 模型名：运行指定模型

  • ollama pull 模型名：只下载不运行

  • ollama rm 模型名：删除模型

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       启动 Ollama 服务
  create      从 Modelfile 创建一个模型
  show        查看模型详细信息
  run         运行一个模型
  stop        停止正在运行的模型
  pull        从注册表拉取一个模型
  push        将一个模型推送到注册表
  list        列出所有可用的模型
  ps          列出当前正在运行的模型
  cp          复制一个模型
  rm          删除一个模型
  help        获取关于任何命令的帮助信息

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

高级用法

  • 网页端对话：安装后访问 http://localhost:11434 使用网页界面。

  • API 调用：可以用代码通过接口调用本地模型（类似 OpenAI 的 API）。

  • 自定义模型：修改模型参数后，用 ollama create 创建自己的版本。

调用 Ollama 接口

Ollama 提供了丰富的 API 接口，供外部调用访问。详细的 接口文档 可以在官方 GitHub 中找到。

接口名称接口地址请求方法接口描述
Generate/api/generatePOST使用提供的模型为给定提示生成响应。
Chat/api/chatPOST使用提供的模型生成聊天中的下一条消息
Create/api/createPOST从 Modelfile 创建一个新的模型。
Tags/api/tagsGET列出本地可提供的型号。
Show/api/showPOST获取指定模型的详细信息。
Copy/api/copyPOST从现有模型创建副本。
Delete/api/deleteDELETE删除模型及其数据。
Pull/api/pullPOST从 Ollama 库中下载指定模型。
Push/api/pushPOST将模型上传到模型库。
Embed/api/embedPOST使用指定模型生成嵌入。
ListRunning/api/psPOST列出当前加载到内存中的模型。
Embeddings/api/embeddingsPOST生成嵌入（与 Embed 类似，但可能适用场景不同）。
Version/api/versionGET获取 Ollama 服务的版本号。

适合谁用？

  • 想本地体验 AI 的普通用户

  • 开发者测试 AI 功能

  • 学习 AI 技术的学生/研究者

  • 需要处理敏感数据的企业

总结：Ollama = 本地版 ChatGPT + 简单操作 + 完全免费 + 隐私保护，适合对 AI 感兴趣的所有人！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2317014.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

vllm部署QwQ32B(Q4_K_M)

vllm部署QwQ32B(Q4_K_M)

vllm部署QwQ32B(Q4_K_M) Ollama是一个轻量级的开源LLM推理框架&#xff0c;注重简单易用和本地部署&#xff0c;而VLLM是一个专注于高效推理的开源大型语言模型推理引擎&#xff0c;适合开发者在实际应用中集成和使用。两者的主要区别在于Ollama更注重为用户提供多种模型选择和…
阅读更多...
企业内网监控软件的选型与应用：四款主流产品的深度剖析

企业内网监控软件的选型与应用：四款主流产品的深度剖析

在数字化办公的时代背景下&#xff0c;企业内部网络管理的重要性愈发显著。对于企业管理者而言&#xff0c;如何精准掌握员工工作状态&#xff0c;保障网络安全与工作效率&#xff0c;已成为亟待解决的关键问题。本文将深入剖析四款主流企业内网监控软件&#xff0c;探讨其功能…
阅读更多...
Qt窗口控件之字体对话框QFontDialog

Qt窗口控件之字体对话框QFontDialog

字体对话框QFontDialog QFontDialog 是 Qt 内置的字体对话框&#xff0c;用户能够在这里选择字体的样式、大小&#xff0c;设置加粗和下划线并将结果作为返回值返回。QFontDialog 最好使用其提供的静态函数实例化匿名对象&#xff0c;并获取返回值最为用户选择字体设置的结果。…
阅读更多...
Qt QML实现视频帧提取

Qt QML实现视频帧提取

## 前言 视频帧率&#xff08;Frame Rate&#xff09;是指视频播放时每秒显示的画面帧数&#xff0c;通常用fps&#xff08;Frames Per Second&#xff09;来表示。视频是由一系列静止的图像帧组成的&#xff0c;而视频帧率则决定了这些图像帧在单位时间内播放的速度。较高的视…
阅读更多...
在 Ubuntu 服务器上使用宝塔面板搭建博客

在 Ubuntu 服务器上使用宝塔面板搭建博客

&#x1f4cc; 介绍 在本教程中&#xff0c;我们将介绍如何在 Ubuntu 服务器 上安装 宝塔面板&#xff0c;并使用 Nginx PHP MySQL 搭建一个博客&#xff08;如 WordPress&#xff09;。 主要步骤包括&#xff1a; 安装宝塔面板配置 Nginx PHP MySQL绑定域名与 SSL 证书…
阅读更多...
有了大语言模型还需要 RAG 做什么

有了大语言模型还需要 RAG 做什么

一、百炼平台简介 阿里云的百炼平台就像是一个超级智能的大厨房&#xff0c;专门为那些想要做出美味AI大餐的企业和个人厨师准备的。你不需要从头开始做每一道菜&#xff0c;因为这个厨房已经为你准备了很多预制食材&#xff08;预训练模型&#xff09;&#xff0c;你可以根据…
阅读更多...
【从0到1搞懂大模型】RNN基础（4）

【从0到1搞懂大模型】RNN基础（4）

先说几个常用的可以下载数据集的地方 平台&#xff1a;kaggle&#xff08;https://www.kaggle.com/datasets&#xff09; 和鲸社区&#xff08;https://www.heywhale.com/home&#xff09; 阿里天池&#xff08;https://tianchi.aliyun.com/&#xff09; 其他&#xff1a;海量公…
阅读更多...
【第K小数——可持久化权值线段树】

【第K小数——可持久化权值线段树】

题目 代码 #include <bits/stdc.h> using namespace std;const int N 1e5 10;int a[N], b[N]; int n, m, len; int rt[N], idx; // idx 是点分配器struct node {int l, r;int s; } tr[N * 22];int getw(int x) {return lower_bound(b 1, b len 1, x) - b; }int bui…
阅读更多...
本地部署Deep Seek-R1，搭建个人知识库——笔记

本地部署Deep Seek-R1，搭建个人知识库——笔记

目录 一、本地部署 DeepSeek - R1 1&#xff1a;安装Ollama 2&#xff1a;部署DeepSeek - R1模型 3&#xff1a;安装Cherry Studio 二、构建私有知识库 一、本地部署 DeepSeek - R1 1&#xff1a;安装Ollama 1.打开Ollama下载安装 未科学上网&#xff0c;I 先打开迅雷再下…
阅读更多...
【软考-架构】5.3、IPv6-网络规划-网络存储-补充考点

【软考-架构】5.3、IPv6-网络规划-网络存储-补充考点

✨资料&文章更新✨ GitHub地址&#xff1a;https://github.com/tyronczt/system_architect 文章目录 IPv6网络规划与设计建筑物综合布线系统PDS&#x1f4af;考试真题第一题第二题 磁盘冗余阵列网络存储技术其他考点&#x1f4af;考试真题第一题第二题 IPv6 网络规划与设计…
阅读更多...
fastapi+angular外卖系统

fastapi+angular外卖系统

说明&#xff1a; fastapiangular外卖系统 1.美食分类&#xff08;粥&#xff0c;粉&#xff0c;面&#xff0c;炸鸡&#xff0c;炒菜&#xff0c;西餐&#xff0c;奶茶等等&#xff09; 2.商家列表 &#xff08;kfc&#xff0c;兰州拉面&#xff0c;湘菜馆&#xff0c;早餐店…
阅读更多...
鸿蒙路由 HMRouter 配置及使用 三 全局拦截器使用

鸿蒙路由 HMRouter 配置及使用 三 全局拦截器使用

1、前期准备 简单封装一个用户首选项的工具类 import { preferences } from "kit.ArkData";// 用户首选项方法封装 export class Preferences {private myPreferences: preferences.Preferences | null null;// 初始化init(context: Context, options: preference…
阅读更多...
计算机视觉——深入理解卷积神经网络与使用卷积神经网络创建图像分类算法

计算机视觉——深入理解卷积神经网络与使用卷积神经网络创建图像分类算法

引言 卷积神经网络&#xff08;Convolutional Neural Networks&#xff0c;简称 CNNs&#xff09;是一种深度学习架构&#xff0c;专门用于处理具有网格结构的数据&#xff0c;如图像、视频等。它们在计算机视觉领域取得了巨大成功&#xff0c;成为图像分类、目标检测、图像分…
阅读更多...
永磁同步电机无速度算法--拓展卡尔曼滤波器

永磁同步电机无速度算法--拓展卡尔曼滤波器

一、原理介绍 以扩展卡尔曼滤波算法为基础&#xff0c;建立基于EKF算法的估算转子位置和转速的离散模型。 实时性是扩展卡尔曼滤波器的一种特征&#xff0c;所以它可实时跟踪系统的状态并进行有效的输出&#xff0c;同时&#xff0c;它可以减少干扰、抑制噪声&#xff0c;其效…
阅读更多...
【CF】Day9——Codeforces Round 953 (Div. 2) BCD

【CF】Day9——Codeforces Round 953 (Div. 2) BCD

B. New Bakery 题目&#xff1a; 思路&#xff1a; 被标签害了&#xff0c;用什么二分&#xff08; 很简单的思维题&#xff0c;首先如果a > b&#xff0c;那么全选a就行了&#xff0c;还搞啥活动 否则就选 b - a 天来搞活动&#xff0c;为什么&#xff1f; 首先如果我…
阅读更多...
harmonyOS NEXT开发与前端开发深度对比分析

harmonyOS NEXT开发与前端开发深度对比分析

文章目录 1. 技术体系概览1.1 技术栈对比1.2 生态对比 2. 开发范式比较2.1 鸿蒙开发范式2.2 前端开发范式 3. 框架特性对比3.1 鸿蒙 Next 框架特性3.2 前端框架特性 4. 性能优化对比4.1 鸿蒙性能优化4.2 前端性能优化 5. 开发工具对比5.1 鸿蒙开发工具5.2 前端开发工具 6. 学习…
阅读更多...
Unity小框架之单例模式基类

Unity小框架之单例模式基类

单例模式&#xff08;Singleton Pattern&#xff09;是一种常用的创建型设计模式&#xff0c;其核心目标是确保一个类只有一个实例&#xff0c;并提供一个全局访问点。它常用于需要控制资源访问、共享配置或管理全局状态的场景&#xff08;如数据库连接池、日志管理器、应用配置…
阅读更多...
cesium 实现万级管网数据渲染，及pickImageryLayerFeatures原生方法改写

cesium 实现万级管网数据渲染，及pickImageryLayerFeatures原生方法改写

需求背景解决效果getFeatureInfo 需求背景 在用 geoserver 渲染图层时&#xff0c;会自动触发 GetFeatureInfo &#xff0c;与服务器通信&#xff0c;在万级海量数据渲染下&#xff0c;这个性能消耗就可以感受到了 需要考虑的点&#xff1a; 1.通过enablePickFeatures&#xf…
阅读更多...
基于金融产品深度学习推荐算法详解【附源码】

基于金融产品深度学习推荐算法详解【附源码】

深度学习算法说明 1、简介 神经网络协同过滤模型(NCF) 为了解决启发式推荐算法的问题&#xff0c;基于神经网络的协同过滤算法诞生了&#xff0c;神经网络的协同过滤算法可以 通过将用户和物品的特征向量作为输入&#xff0c;来预测用户对新物品的评分&#xff0c;从而解决…
阅读更多...
LVS + Keepalived 高可用集群

LVS + Keepalived 高可用集群

一、LVSKeepalived 原理 1.1.LVS 负载均衡原理 LVS&#xff08;Linux Virtual Server&#xff09;是一种基于 Linux 内核的负载均衡技术&#xff0c;它通过 IPVS&#xff08;IP Virtual Server&#xff09;模块来实现。LVS 可以将客户端的请求分发到多个后端服务器上&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023